太子楊勇被廢前對種種於己不利的危險跡象頗有察覺，但只是“憂懼，計無所出”。他召新豐人王輔賢占候（造諸厭勝），在後園建造屋宇卑陋的庶人村等等，可能是因為精神壓力大的原因以致楊勇經常“東宮多鬼魅，鼠妖數見”。
隋文帝知道後，派出這時有一個精陰陽、歷算的蕭吉主持的“東宮趕鬼”，他於宣慈殿設神坐。有迴風從艮地鬼門來，掃“太子坐”，蕭吉以桃湯葦火驅逐它，風出宮門而止。後來又對隋文帝說“太子當不安位”，這很對隋文帝的胃，高興之餘“賞賜優洽”。
東宮驅鬼是一場鬧劇，從這場鬧劇中隋文帝傳遞給大家的意思就是上天都認為楊勇該被廢了，這對楊勇的太子地位卻有著致命的打擊。
看清了情形，很多人就站出來了呼應隋文帝的廢太子行動。
有的是落井下石，有的是溜鬚拍馬，有的被隋文帝安排的，.......先有楊素對楊勇的詆譭“楊勇怨恨，恐怕會生變故，望陛下深防明察”，後有太史令袁充的落井下石“我觀察天象，皇太子當廢黜”。
同時隋文帝開始直接地採取行動消減太子東宮的勢力，如蘇孝慈為太子右衛率，有文武才能和政績，深受太子楊勇的倚重，隋文帝就把他調往外地任刺史；隋文帝還在大興宮北玄武門到宮城東北隅的至德門之間，每隔幾步就設置一個候人，來觀察東宮的動靜，事無鉅細都要隨時奏聞。
此時的楊勇太子地位已經是搖搖欲墜了。 隋文帝的廢太子步伐一步一步的推進，輿論和其他都準備好了之後，隋文帝就藉機把廢太子的最大阻力大隋第一宰相尚書左僕射高穎罷免。
高穎一直深受隋文帝的信任，曾有人告他謀反，隋文帝把告他的人殺了，表示對高穎的絕對信任。高穎作為大隋的開國宰相從開皇元年到他被罷免的開皇十九年做了近二十年的宰相，無任是權利還是威望都是除了隋文帝本人之外的第一人。
這個在大隋帝國的重量級人物作為山東士人的領袖也是絕對的支持楊勇，而且他還與楊勇成了親家，讓自己的兒子娶了楊勇的女兒成為太子黨的鐵桿支持者。
隋文帝知道高穎是支持太子的，所以曾經以一種商量的口吻問高穎：“有神憑告晉王妃，言晉王必有天下，若之何”？高穎立即奏道“長幼有序，豈可廢乎？”表明自己是堅決不支持廢掉楊勇。
高穎身為大隋最有權勢的當朝大臣，朝野威望極高，又作為太子在朝野的中堅力量，隋文帝要廢太子只有把這個跟了自己幾十年的高穎罷免。
（此處已添加小說卡片，請到今日頭條客戶端查看）
開皇十九（599）年八月隋文帝正式下詔罷免高穎的尚書左僕射職務，讓他帶著一個齊國公的爵位回老家養老去，這意味著楊勇的太子黨在朝野的徹底失勢。
高穎罷免後，雖然對於太子將被廢一事已經謠言四起，但隋文帝沒有立即廢掉楊勇，而是在等高穎被免一事在朝堂引起的震動冷卻，因朝廷的穩定才是頭等大事。
