裴矩被贬官灵州总管府长史，但并不意味着他被贬出了晋王的势力核心。在灵州这段日子，他牢牢地把控了灵州的政治势力，同时又不断通过书信帮着杨广协调关系，稳定局面。离开长安越久，杨广反而更依赖裴矩了。
黄明远相信，以裴矩的眼光，一定可以看出自己的目的。而凭借着裴矩的手()
段，这一次就是不能直接打死太子，也能扒太子一层皮。
杨广对黄明远的计谋很动心，但是现在的形势，他也不敢妄动。他的手还不能完全伸入东宫，只得等杨坚过几日临幸仁寿宫再动手。
拿着黄明远的书信，杨广陷入了沉思。
现在自己与大兄杨勇的斗争已经到了白热化的阶段，但同时也陷入一种势均力敌的僵局，他知道这是父亲有意的引导而导致的。
再留在长安未必可以破局，要是哪天父亲的态度有变，他就只能被赶回扬州了。若是他真的领军北上抗击突厥，到时立了大功，再挟大功而回，真得有可能让父亲废了大兄，立自己为太子。
但很快，杨广的想法并没有能够实现，突然而来的打击让杨广感到措手不及。
四月初，杨坚驾临仁寿宫，随行的还有独孤皇后、太子杨勇等人。而杨广则被留在了长安。
这件事给杨广的心头蒙上了一层阴影，远离圣人，意味着他要比太子更晚的获得圣人的消息，也意味着圣人或许对他有了什么看法。
很快，这层阴影像锤子一样重重地击在了杨广的心头。
四月中旬，通过秘密渠道获得突厥人将要入侵的消息的杨坚，突然犯病，倒在了榻上。虽然有独孤皇后立刻控制了局面，但杨坚的犯病的消息还是传得沸沸扬扬。这个时候，内忧外患，不断地击打着这个国家的权利中心，让整个长安的空气，显得窒息起来。
杨广也有些恐惧了，他从没想过杨坚会在这个时候生病，一旦杨坚真的起不来了，太子杨勇继位，他就完了。
晋王一党这个时候也慌了，满脑子都是双方你死我活的情形，甚至有人建议杨广先下手为强，直接动手。
杨广很是意动，但他绝不敢这么做。因为大隋的那头猛虎还在仁寿宫内端坐着。
从独孤皇后处传来“勿惊”的消息，让杨广心底稍微放宽了心，很快杨坚的身体没事的消息便传出。但突厥的打击接踵而来，即使他不能统领大军，也不能将这支部队交到太子一党的手上。
杨广觉得自己该布置了。