在常山战败之后，赉塔固守玉山县的勇气就已经没有了。
后世的现代人听评书或者看演义小说，往往会建立一个错误的印象，就是战争中的防守方可以一城一池地抵抗，让进攻方每前进一步都异常艰辛。而这个错误的印象在电脑游戏时代又被继续强化，很多像《三国志英杰传》、《三国志曹操传》之类的战棋游戏中，明明玩家在不断赢得胜利，敌军在节节败退，但敌军的实力却在不断增强。
但事实上，战争中往往强调据险而守，一旦险要被攻破，再要想组织起像样的防守，就比较困难了。如果在战败的过程中，兵力有较大的损失，那么节节抵抗这种做法显然是不切实际的。
玉山是衢州通向江西的交通要道，但有一个很大的缺点，就是从浙江方向来的军队可以从常山县一侧或者江山县一侧或南或北进军，如果只防守一路，那么敌军完全可以从另一路包抄到玉山县的后方。这也是为什么之前赉塔安排白显忠分驻常山县，因为那样做，赉塔自己才能安心防守江山方向的明军。
现在常山县被明军攻克，白显忠投降，赉塔所部的士兵也损失过半，继续坚守玉山县已经变得毫无意义，马哈达、雅塔里和瑚图都劝赉塔向西撤退，赉塔也只能同意。
玉山县向西不到百里，便是广信府城，附廓的是上饶县。但广信府城建在开阔平原之上，无险可守，因此马哈达等人都建议赉塔继续向西撤退，到铅山、兴安、弋阳三县之间，再行固守。
赉塔的这个意图，项绍宽一眼就看穿了。广信府北部为怀玉山脉，南部为武夷山脉，两座山脉呈两个半月形，将广信府怀抱其中，东侧的狭隘出口便是玉山县，西侧出口略为宽广，铅山、兴安、弋阳三县的县城都集中那里。如果赉塔败退，必定退到那里，分屯三城，以为犄角，同时还可以守住通向贵溪县乃至南昌府的最后险要。
在这种情况下，兵贵神速，如果被赉塔在弋阳一带站稳脚跟，那就坐失战机了。项绍宽于是下令，由李荣带领陈世凯和牟大寅迅速向前，追击赉塔，许纬辰与李之芳等官员进据广信府城，自己率领日军和剩余的浙兵，以及白显忠所部，跟进支援李荣。
李荣在常山一战获得了军机处的信任，对追讨赉塔这件事信心满满，陈世凯和牟大寅又都是沙场宿将，大军追击的速度令人惊讶。
当然，赉塔对此并不惊讶，因为之前一同在李之芳手下征讨耿精忠，赉塔对李荣、陈世凯和牟大寅的能力很有了解，也料定他们必定会追击而来，因此派马哈达和瑚图先前往弋阳县，自己与雅塔里带着余下的主力驻守铅山县。
铅山、兴安、弋阳三县相互接近，其中弋阳县地处要冲，也是广信府通向西面的最后要隘。铅山县在最东，有信江通向弋阳，兴安县则在两县以北的中间地带，三城构成一个三角形，相互之间有四、五十里之遥。
赉塔这样安排，显然是因为明军追击太急，分屯三城相互支应的计划已经破产，所以让马哈达和瑚图先去加固弋阳城防，自己在铅山为马哈达争取时间。
然而赉塔也并没有争取到多少时间。斗志全无的清军在铅山城外与明军打了一仗，自然是大败亏输，牟大寅再次上演斩将夺旗的戏码，亲手击毙雅塔里手下的一名参领，吓得雅塔里连忙退入城中。
项绍宽的大军很快赶到了铅山城下，和李荣会合。众人研究清军可能的动向，潘兴认为，赉塔要固守坚城也不容易，因为城中并未囤积可供大军食用的粮草，若是不能出城搜集粮食，城里的数千军队不出十日就要饿死，所以，赉塔应该会尽快撤往弋阳。
但郑克臧表示不同意。从小到大，郑克臧听过无数和清军有关的故事，很多都是清军被明军围困在城中，粮草断绝，但清军在城中杀人()
为食，居然能坚持到一个月以上，代价则是城中人口死亡大半。