岸阵地多处被日军突破，许多守军部队因为军官阵亡而失去指挥，为集中力量，整顿部队，守军总指挥、第五十一军军长于学忠命令全军向淝河附近之何集、新马桥之线转移。

二月十五日，李宗仁将刚刚转隶第五战区的张自忠第五十九军调至固镇附近，接替第五十一军的防地，第五十一军撤至西寺坡车站一带休整。

第五十九军积极准备，此时日军第十三师团主力大部进至淮河以北，李宗仁命第三十一军由淮南铁路向上窑、凤阳，令新隶五战区之第七军由合肥向明光、定远实施侧击，同时要求空军支援，轰炸蚌埠、临淮关之敌，迫使日军将已渡过淮河的主力撤回淮南，加强蚌埠及津浦铁路的防守。

张自忠乘机于十八日调派一个加强团向小蚌埠之敌实施反击，经过艰苦战斗，成功收复小蚌埠，淮河以北日军全部撤回淮河以南。

二月二十日后，津浦路北段形势趋紧，日军开始由济宁向运河以西发起进攻。二十二日，李宗仁按照蒋介石的指示，电令张自忠即调赴临城待令，津浦路南段仍由于学忠的五十一军防守，暂时与日军隔着淮河对峙。

当南线战场中日两军在蚌埠地区淮河两岸进行激烈的渡河攻守战斗时，第五战区为防止北线日军乘机南下，遵照军事委员会的意图，采取以攻为守的战术，命令第三集团军向济宁、第二十二集团军向邹县、第三军团向蒙阴发动攻势。

此时济宁日军为第二军第十师团第八旅团三十九联队主力，约一千五百余人，大部控制于南关，城中守卫部队约四百余人，汶上日军为第三十九联队第三大队，约五百余人，第八旅团主力与第十师团司令部位于兖州。

第三集团军司令官孙铜萱于二月十日下令，命第五十五军由金乡向济宁南关之敌发起进攻，命第十二军第二十二师由定陶经巨野、嘉祥迂回至济宁以北的二十里铺附近，尔后向济宁北门进攻，协同第五十军军收复济宁城，命第八十一军对汶上之敌进行袭扰。

曹福林的第五十五军派出一部兵力前进至济宁西南安居镇附近运河西岸，进攻开始时仅以不到一个团的部队渡河，向济宁火车站及西关等地进行袭扰，并未以主力实施进攻，不久即为日军击退。

谷良民的第二十二师到达嘉祥以东的运河西岸后，部署以第六十四旅为主攻部队，第六十旅为预备队，随师部控制运河西岸。第六十四旅由大长沟通过运河木桥，于十二日佛晓前到达进攻出发位置。

根据事先