高熲這次阻撓楊堅廢黜楊勇，更是讓獨孤皇后下決心除掉他。
這時正好高熲的愛妾生了個兒子，楊堅知道了也挺高興。可獨孤皇后卻裝出一副不悅之色，對楊堅說：“你還相信高熲？當年你要為他再娶，他嘴上說的可是清心寡欲，可不成想心裡卻想的是他的愛妾，這是面欺陛下！”
之前高熲的夫人去世，獨孤皇后也曾要楊堅為他張羅再娶。可高熲卻流涕謝絕了，說自己年紀大了，退朝後也只是誦讀佛經而已，不願再娶妻室了。
本來楊堅根本沒想到這茬，但獨孤皇后趁勢說：“由此可見高熲其人之詐偽，陛下你還能信他嗎？！”，一下子把一件家務小事上升成了政治立場的原則性問題。
這一句挑撥話明顯起到了作用，楊堅開始疏遠高熲。
同時楊堅也加強了對太子楊勇的戒備。他把太子東宮衛隊中強健者全都抽調到自己的警衛部隊裡來。高熲奏稱，若盡取強者，恐怕東宮宿衛太弱，難以保障太子安全。聞此言，楊堅勃然作色，說：“我有時要出外行動，宿衛須得雄毅。太子常在東宮，左右何須強武？”，把高熲訓斥一通，而內心中對其的猜疑更重一層。
開皇十八年，楊堅準備攻打高句麗。高熲力諫不可，但楊堅卻不聽。他以漢王楊諒為元帥、高熲為元帥長史征討遼東。最後出師不利，碰到雨季和疾疫，只能無功而返。
這本是楊堅先生決策的失誤，但獨孤皇后卻說：“高熲本來就不想去，你硬要他去，我早就知道他必是無功而返。”這樣，征討高麗失敗的責任就全落在高熲身上，是他心懷不滿，故意打的敗仗。
讓楊諒皇子監軍，本是楊堅給他增加資歷的機會。楊堅也知道楊諒年輕，一切軍務實際讓高熲全權負責。但少不更事的楊諒，卻在軍中指手劃腳起來。老成持重、一心為公的高熲自然不會理會他的胡說八道。
畢竟兵凶戰危，楊諒沒被凝固汽油彈燒成掛爐烤鴨已是要感謝高熲。但他絲毫不領情，還朝之後也告起了高熲的黑狀，說高熲目無君上、擅作威福，自己差一點被他殺掉云云。
楊堅對高熲的不滿終於達到了頂點。藉助一樁冤案，楊堅罷免了高熲的官職，讓他回家抱孩子去了。楊廣奪嫡路上的障礙已全被清除，直等那最後的致命一擊。
更正一個錯誤，前面說高熲是楊勇的岳父，是引用了錯誤的二手資料。後經核實史料原文，實際二人是兒女親家。
3．蕭吉13：厭勝
看到父皇母后態度的變化，聽到種種對自己不利的傳聞，楊勇也早已意識到了危險。他憂懼不已，卻無計可施。無奈之下，也只能求助於術數了。
聽說新豐人王輔賢頗能占候，他便召其來問話。
所謂占候，即是根據日月星辰、天地萬物的種種變化來推知國政、年景的變化。