二月二十一日，原豫章太守徐璒等人设宴招待王世积、权武等人，王世积不辨真假，欣然前往。
席间，徐璒等人密谋诛杀王世积，幸亏王世积部下死战，王世积方才得免。而此时城中陈叔英联络的南陈军尽皆倒戈，南陈旧卒挥舞着狰狞的钢刀，向毫无知觉的隋军杀去。隋军大乱，不能自顾。
当时黄牵正在城北，见到城头火起，心知不好。为了收拾局面，便率军向城内杀去。
此时江州城已经大部陷落在南陈旧军的手里。北门几乎已失，双方为争夺北门，战况焦灼，黄牵拼死才杀入城中。
王世积、权武等人狼狈不堪，也不管军队的事了，只是一个劲地逃命。多亏了黄牵的接应，才杀出重围，汇合了黄牵的队伍。
王世积此时浑身颤抖，心力交瘁，准备先行突围。等到了南边，引回千金县公权始璋在南线接收江西的队伍，再返回来收复江州。
黄牵却反对这种做法，他对王世积劝道：“总管，现在城内虽乱，不过是因为敌人骤然发难，其实南蛮不多，我军各部也皆各自抵抗。只要我军整顿兵马，反杀过去，必可将城中南陈乱党一网成擒。若是现在放弃江州，则隔断了江东与荆襄的联系，若是南陈余孽借此串联，使贼势蔓延，恐遗大祸。”
“是本总管领军还是你领军，再敢胡言乱语乱我军心者，杀无赦。”
王世积此时早就吓破胆了，心气全无，哪还敢再战。斥退了黄牵，便继续领着大军向南逃窜。
陈叔英等人撤机扫清了隋军在城内的抵抗势力，彻底占领了江州城。原本一直在观望的南陈降卒这个时候也纷纷换了旗帜，倒戈相向，一时之间，南陈军军势大振。
纪瑱是老将，知道现在江州的强大是虚的，若是王世积将分散的各地隋军召回，双方还得相持一段时间。而那个时候，各路的隋军早就反应过来了，杨素、贺若弼这些人也会率大军向江州集结。
为了争取更多的时间，纪瑱并不准备放过王世积，他一定要将其截杀。
趁着夜色，隋军一路南逃，而南陈军则紧追不舍。
看着南陈军追得越来越近，溃不成军的隋军只剩下被歼灭的命运。众人惊慌，不知所措，却忘了手中钢刀的锋利。
这时候，惊慌失措的王世积强迫自己镇定下来，却反应过来，此次自己丢了江州，是个大罪。若是圣人怪罪，再加上蕲口的大败，他就再无翻身的可能。
王世积不愿意背上这个罪状。
看着黄牵，王世积决定就让黄牵背这个黑锅。
当时情况危急，王世积便命令黄牵留在原地阻挡南陈追兵，自己引救兵回援。而权武等人见可以趁机南逃，本就对黄牵连战连胜不满的他也同意此意见。
黄牵见此没有办法，便请求二人派兵埋伏在万家岭，接应自己。