楊勇曾經邀約曹妙達與雲定興的女兒一起宴會，妙達在內裡對人說：“我明天得以勸太子妃喝酒。”隻因他的兒子都是偏房所生，驚駭彆人不平，是以放縱他們，想獲得天下人的擁戴罷了。

過了幾天，有關部分遵循楊素的企圖，向高祖上書說左衛官元..身為皇官侍衛，常常公開裡奉養楊勇，豪情深厚，暗自有拜托。

現在作為天子，竟然使我不如幾個弟弟。

我曾責問他，他便仇恨地說：“有機遇殺了元孝矩。”這是要殛斃我而遷怒彆人罷了。

高祖為奸邪的談吐所利誘，因而冷淡猜忌楊勇，便在玄武門到至德門的路上安排人，來察看動靜，甚麼事都要隨時陳述。

傳聞新豐人王輔賢達占卜休咎，召到東宮問他。

高祖在仁壽宮病重臥床，叫太子楊廣入宮奉侍，而楊廣卻肆意婬亂宮闈，事情傳到高祖那邊，高祖支撐在床上說：“錯廢了我的勇兒！”是以派人去找楊勇，還冇來得及派使臣，高祖就俄然死了，楊廣坦白著不發喪。

高祖曉得楊勇很不安，在仁壽宮，派楊素去看楊勇。