积为了促使江西更多的郡县投降，招揽人心，虽然收编了南陈部队，但并没有将其完全打乱。黄牵对此很是忧虑，认为这是祸乱的源泉。但王世积却对黄牵的劝解不以为意，反而认为黄牵仗着晋王的信任，有意和他作对。此后他便将黄牵赶出了江州城，令其在城北大营驻守。

当时王世积大军的军容不整，士兵满城劫掠，引得城内百姓对隋军愤恨不已。而黄牵率军被王世积发配到城北大营，虽然尽力约束隋军，但所部与混乱不堪的王世积大军发生几次冲突，因而王世积对黄牵的忌恨更甚。

天下安康