楊素就是要激怒楊勇，因為強烈的嗔恨心能讓人失去理智。
見面後，楊勇的憤怒仍形於言色，話自然也難免會說過頭，這些都讓楊素抓住了把柄。
之後，楊堅便聽到了楊素如是的匯報：“楊勇心懷怨望，恐有他變，願深防察！”
開皇二十年（公元600年）冬，隋文帝楊堅戎服陳兵，在武德殿朝會。百官肅立，兵士的武器閃耀著點點寒光，大殿裡寂靜得可怕。
太史令袁充出班啟奏：“臣觀天文，皇太子當廢。”
楊堅點了點頭，說：“天象早都顯現了，只怕是沒人敢說罷！”於是派人宣已被囚禁的楊勇上殿。
心力交瘁的楊勇見到使者時，不禁大驚失色，惶恐地問：“是要殺我嗎？！”
隨後他被押至殿前庭中，親耳聆聽了薛道衡宣讀的廢楊勇為庶人的詔書。
再拜謝恩後，楊勇泣下流襟，舞蹈而去。
受楊勇案牽連，七位大臣被處斬，另有多人被置重罪。
楊素因辦案有功賜物三千段，楊約也被賜物千段。
而楊廣終於如願以償地當上了皇太子，並負責看管囚於東宮的楊勇。
這一年也是隋朝政治的一大轉折點，第二年改元仁壽。
楊堅共有五個兒子。除長子楊勇、次子楊廣外，還有三子楊俊、四子楊秀和五子楊諒。楊廣雖然已經當上了太子，但害怕諸弟會如法炮製。楊俊已死於開皇二十年六月二十日。於是楊廣的目標首先指向了四弟楊秀。
楊秀被封蜀王，在蜀地坐鎮近二十年，頗有些實力。這次楊廣已經知道了楊堅的軟肋，除了讓楊素搜集楊秀罪過並在楊堅面前誣陷詆毀外，他還派人在華山下埋了兩個人偶。
這兩個人偶被捆上手腳，戴上枷鎖，心臟處還釘了釘子。
一個人偶是詛咒楊堅的，寫著“西嶽神兵收楊堅魂魄”。