文帝卧病在床，杨广于是写信给杨素，请教如何处理隋文帝后事和自己登基事宜。不料送信人误将杨素的回信送至了隋文帝手上。隋文帝大怒，随即宣杨广入宫，要当面责问他。
这次事情致使杨广被废，重立长子刘勇为储君，致使杨广心中愤懑。
恰在此时，被邪祟占窍的右庶子张衡跟杨广说，他有办法让杨广重得陛下欢心。于是杨广想办法让张衡入隋文帝寝殿侍疾，以为张衡是替他去说好话。
谁知道张衡将隋文帝周围的侍从打发走，并且在汤药中下毒，将隋文帝杨坚毒杀。
杨广派人入宫，不久文帝就驾崩，这种事情哪能堵得住天下悠悠众口。杨广当时就慌了，张衡再次出计，一不做二不休，不在现在夺位更待何时？
于是张衡伪造文帝遗诏，传位于杨广，并且逼迫杨勇自尽，将杨勇处死。帝位是夺来的，为免除后顾之忧，在张衡的建议下，将亲弟弟蜀王杨秀诬陷使用巫蛊，诅咒隋文帝及幼弟汉王杨谅，然后剥夺官爵贬为庶民软禁于内侍省，后与诸子一起被软禁，不得与妻子相见。
其弟汉王杨谅以讨杨素为名，在并州起兵，杨广派杨素镇压，杨谅降后被幽禁至死。
之后又听从云定兴建议，诛杀侄儿