立下大功的右侯卫将军杨子崇，也被贬斥。杨子崇是杨广的族叔，在杨广出巡安北城的时候，也曾劝杨广“突厥必为寇”，屡请早还京师。

当时杨广没有发作，但回京之后，却以“子崇怯懦，惊动众心，不可居爪牙之官”为由，将杨子崇贬为离石郡太守。

杨广本来就严苛，这一次发起狠来，竟然连自己的妻舅和族叔都不放过。众人对其更是寒心。

此时杨广因为雁门之事，有些灰心，更听不得别人的劝告。往常臣子谏言，只是逆耳，杨广也把他们归结为求名，一般不作处置。

但现在因为雁门的事情，杨广仿佛认为全世界的人都在嘲笑自己的识人不明，他做了半辈子的“天可汗”，此时轰然倒塌，更使得杨广满是羞辱。现在只要一有人劝他，杨广便感觉是讥讽他，恨不得将其弄死。

不管别人能不能忍，杨广反正不能忍。于是他的行为也越来越粗暴，越来越不可理喻。似乎在别人嘲笑他之前弄死对方，对方就不会嘲笑他了。