三子秦王杨俊已经过世，自然就可以放过一边，不必再理会。
可是蜀王杨秀与汉王杨凉都是在自己的属地有着极大的权力，手中的士卒也是相当的多，杨广虽然扳倒了杨勇，继任为太子，但是心中还是不太安稳。
因为嫡长子继承制已经被他打破，始作俑者无其后乎，他心里很清楚，既然自己能够搞掉杨勇成为太子，那么杨秀与杨凉也就有可能搞掉自己，所以心中一直在隐隐警惕着。
这可不是明代那种礼法森严，皇权至上的时代，再加上门阀世家的干预，他这个太子的位置还没坐稳，更别说，势力遍及大隋的佛门尚未出手。
所以，一直以来杨广内心极为警惕，绞尽脑汁想要把对他有威胁的兄弟干掉。再加上裴矩等魔门中人不断推波助澜，杨广便下定决心。
一方面杨广尽量做好自己的事，不要让人挑出毛病来。另外一方面也在想办法怎么搞掉杨秀与杨凉这两个兄弟。
蜀王杨秀有胆气，容貌瑰伟，美须髯，多武艺。论本事并不在杨广之下，让杨广心中极为的担心，而且蜀地多俊杰，对杨广的威胁也是最大的。
可是无意间得知一件事之后，杨广心中对于杨秀的忌惮顿时小了很多。
原来蜀王杨秀虽然极为的出色，但是不知道怎么的，杨坚对这个儿子向来是极为的不满意，甚至曾经对独孤皇后说过：“杨秀必不得好死。朕活着的时候他不敢闹事，等他哥哥当皇帝后这小子肯定要造反。”
汉王杨凉虽然是并州总管，自山以东，至于沧海，南拒黄河，五十二州全部都归杨凉管辖。但是对于这个弟弟，杨广还是很清楚的，既无远谋，又无胆识，虽然大隋出精兵的地方全部都在杨凉的管辖之下，但是杨广却是丝毫不担心。
作为一个出色的人才，蜀王杨秀自然是极为的自傲的。可是在得知杨勇被废，杨广成为了太子之后，心中也是一阵地不平衡。
在杨秀看来自己比杨广要优秀许多。如果不是自己出生的太迟，杨广所立下的那些功劳就应该是自己地了。
前面杨勇成为太子，那是因为人家是嫡长子，自己没有什么话可说。现在嫡长子被废，自己竟然还是没有成为太子，让杨秀的心中觉得极为的不爽快。
眼见自己无法成为天子了，杨秀也就变的极为地不捡点，在蜀地“违犯制度，车马被服，一拟天子”，自己关起门来做皇帝。
杨广知道这件事之后心中极为的高兴。虽然眼见对这位四弟不是很喜欢，但是一直放在那里，杨广的心中还是有些不舒服。因为迟早会威胁到自己，现在杨秀违犯制度，车马被服，一拟天子。给了杨广攻击的借口，可以让杨秀永远无法威胁到自己。
在和杨素、裴矩等人商议之后，杨广让杨素上表弹劾杨秀。
对于任何一个帝王来说，都不能容忍自己的权威受到威胁，就算是自己的兄、弟、妻、子也不行，杨秀的所作所为让杨坚对自己这个本来就不是很喜欢的儿子极为的讨厌，在朝堂上大雷霆，说道：“当斩杨秀于市，以谢百姓！”
就算是这样，杨广还是有些不放心。派人做两个小木人，分别写上杨坚和汉王杨谅的名字，“缚手钉心，令人埋之于华山下”。然后，杨广又指派杨素等人把偶人挖出，诬称杨秀所为。杨坚暴怒如狂，马上废杨秀为庶人，禁锢终身，诛杀他手下数百僚属。
杨凉在知道杨秀之事之后。本来就对杨广不满的杨秀心中更加的紧张，以防突厥的名义，缮治甲兵，大器具，训练士卒以备不时之需。
而这时候独孤皇后也已经过世了，杨坚更是放纵，耽于美色，没有人给杨秀说话，即使最后杨坚并未处死杨秀，但是杨秀却也是形同废人。