独立混成第三旅团除了每天重炮轰炸和申请飞机过来轰炸之外也没有太多办法。

但是这时候的北线，日军在台儿庄一带吃过大亏之后，改为以第5、第10师团剩余主力正面牵制中国守军。南线的第6师团和北线的第16师团绕过中国守军的防线从侧面包抄徐州大本营。5月15日，军政部认为徐州一战已经起到了迟滞日军的目的，江城周边已经做好了防守部署决定放弃徐州。李德林也做了周密的撤退计划，徐州南北的中国守军开始撤退。

因为这时候12师并没有接敌，所以被安排在了第一批撤退的名单之中，第五战区给到12师的撤退路线是沿淮河西进，经商麻公路南下江城。在支援北线的重炮南下跟师主力汇合之后，12师开始向商城出发，同时带走的还有31军和67军等部送到蚌埠的伤员，因为当时南线只有12师具备组建野战医院的条件，所以南线附近的重伤员都会送到12师的野战医院进行救治。

到了5月23日，12师终于抵达了商城，因为12师是第一批撤出徐州战场的部队之一，还有那么多伤员在，再加上在全椒、总铺缴获的那么多重炮，所以这一次并没有采用急行军的方式。到了商城之后，全师也准备在商城休整一天再行南下。而在商城停留的这一天，陈越也是跟陈辞修沟通了一下12师在江城保卫战布防的位置，最终在陈越的要求下，12师并没有南下直接回江城，而是直接转道罗田、英山一线布防。

虽说陈越争取在这个位置布防是存在私心的，毕竟这里是他预选的大本营的位置，已经在这里秘密经营了多年。但实际上对于江城周边布防来说，也是比较合适的位置。这里暂时已经划入了第九战区的范围，11师、14师、47和67师负责防守大别山南麓，76师和98师负责防守长江南岸的富池口、半壁山一带，刚好在对面。