老四楊秀。史乘記錄楊秀麵貌獨特宏偉，有膽量有派頭，喜好技藝，比較有本性。開皇元年（581），被立為越王，不久，徙封蜀王，任柱國、益州史、益州總管，都督二十四州諸軍事。開皇二年（582）年，進位上柱國、西南道行台尚書令。592年，任內史令、右領軍大將軍。不久以後再度出鎮蜀地，楊堅對於這個兒子也是調派有才之人來教誨幫手他。楊秀出鎮蜀地光陰之久比二哥楊廣鎮守江南長，可謂是權傾一方。對於這個很有本性且並不太聽話的兒子，楊堅也曾表示過擔憂，他對孤傲皇後說：“秀必以惡終，我在當無慮，至兄弟必反。”

西南邊疆呈現戰事，大將軍劉噲之受命征討。同時楊堅令上開府楊武通領兵跟進，作為後續軍隊。楊秀派嬖人萬智光為武通行軍司馬，楊堅以為楊秀任非其人，怒斥之。對此楊堅謂群臣曰：“壞我法者，必在子孫乎？比方猛獸，物不能害，反為毛間蟲所損食耳”。因而遂漸分化楊秀的權力。

楊俊愛好美女具有還多有姬妾，但是他的王妃崔氏善妒，為此忿忿不平，便在瓜中下毒，楊俊是以身材不適，回到京師長安。楊堅因為他餬口太豪侈嬌縱，便將他的官位都免除，讓他純粹做一個親王，要他安份地待在他的王府裡。左武衛將軍劉升進諫說：“秦王非有他過，但費官物營?舍罷了，臣謂可容。”楊堅答曰：“法不成違”。劉升本還想勸說，看到楊堅真的活力後才見機的沉默了，以後楊素也感覺楊俊遭到的獎懲有點太重就進言到：“秦王之過，不該至此，願陛下詳之”。對於這位朝廷重臣楊堅不像對劉升一樣直接地回絕而是解釋道：“我是五兒之父，若如公意，何不彆製天子兒律？以周公之為人，尚誅管、蔡，我誠不及周公遠矣，安能虧法乎？”最後還是冇有規複楊俊的官職。

老五楊諒。楊諒，字德章，一名傑。開皇元年（581），被封為漢王。十二年（592），為雍州牧，加上柱國、右衛大將軍，不久又轉左衛大將軍。十七年（597年），代替三哥楊俊任幷州總管，領地西起太行山，東至渤海，北達燕門關，南距黃河的52州，作為楊堅最小的兒子，楊堅很寵嬖他，特授予楊諒在幷州遇事不必拘於律令限定，可自行行事的特權，這是楊諒其他兄弟所冇有的。

我們先來看看楊廣的合作敵手，即楊堅的其他兒子楊廣的兄弟們。因為孤傲皇後的啟事，冇有其他女報酬楊堅生過孩子；以是楊廣和他的兄弟都是一母同胞的親兄弟。這作為天子的楊堅也曾高傲的對群臣說：“宿世皇王，溺於嬖倖，廢立之所由生。朕傍無姬侍，五子同母，可謂真兄弟也。豈若前代多諸內寵，孽子忿諍，為亡國之道邪！”