是杨素的。在众人眼中，是杨素不知检点，才引得朝臣攻讦，是杨坚保护了他。

不过此事并没有完，很快也有不少人跟风上书，弹劾杨素，当然这些弹劾都被压下，但弹劾之人也没有受到实质性的处置。但三人成虎，杨坚开始逐渐疏远和猜忌杨素，或者说很多人知道天子似乎有些不是那么完全信任杨素了。

不久杨坚下敕曰：“仆射国之宰辅，不可躬亲细务，但三五日一向省，评论大事。”

意思杨素是国家的宰辅，不用事必躬亲，隔上几天去尚书省评论审视一下大事即可。

此敕表面上表示优待推崇杨素，实际上是夺下杨素的权力。很快，尚书省内便没有什么大事送到杨素的面前。

接着杨坚外任太子左庶子杨约为伊州（今河南临汝县）刺史；宗正卿兼给事黄门侍郎判礼部尚书事杨纪迁荆州总管。

杨素是个智者，很多东西看的也很清楚。既然天子要剥夺他的权力，他是熬不过的。杨家的人，都是刻薄寡恩之人，他不是不争，而是在为以后而准备。

天下安康