與此同時，第12軍81師也直取汶上，於12日晚由開河鎮渡運河，一部由城西北攻入汶上城內，與日軍停止狠惡巷戰，終因人少勢弱，喪失嚴峻，13日奉李宗仁之命撤向運河西岸。19日，日軍攻陷安居鎮，22日衝破曹福林第55軍陣地。25日，日軍衝破杏花村陣地，守軍被迫撤至相裡集、羊山集、钜野一線。但李宗仁在這一線安插大量兵力，不竭側擊北段南下之敵，使敵軍在這一帶盤桓不能南進，臨時穩定了戰局。

辭賦家韓邦亭為記念台兒莊大捷，創作了《台兒莊大捷賦》，全文以下：

4、慘烈的巷戰

需求提到的是，臨沂大戰的批示張自忠、龐炳勳原秘聞識，更有一段仇怨。張、龐均是西北軍馮玉祥舊部，中原大戰時，龐炳勳暗降蔣介石，臨陣背叛，使張部大損，張自忠亦受重傷，此次臨沂危急，李宗仁無可調之兵，遂派張自忠前去。二人儘棄前嫌，共禦內奸，方有臨沂之捷，更有言若無疆場決策失誤，將可全殲板垣征四郎師團。“兄弟鬩於牆外禦其侮”，此恰是我八年抗戰之依托。

28日，日軍攻入台兒莊西北角，謀取西門，堵截中國守軍第31師師部與莊內的聯絡。該師師長池峰城批示，以強大炮火壓抑仇敵，並構造數十名敢死隊員，與敵搏鬥搏鬥。湯恩伯軍團關麟征第52軍和王仲廉第85軍在外線向棗莊、嶧縣日軍側背進犯。29日，日軍瀨穀支隊再以兵力援助，並占據了台兒莊東半部。31日，中國守軍將進入台兒莊地區的瀨穀支隊完整包抄。是時，阪本支隊由臨沂轉向台兒莊馳援，達到向城、愛曲地區，側擊第20軍團。該軍團即命第52軍和剛到的第75軍圍攻阪本支隊。苦戰數日，予日軍以重創，使其救濟瀨穀支隊的打算落空。

為誘敵深切，3月23日，第31師劉蘭齋連長率馬隊連從台兒莊解纜，向嶧縣方向搜刮進步，91旅旅長乜子彬率183團跟進，在嶧縣城南20裡康莊與日軍遭受。台兒莊地區戰役正式打響，我軍馬隊為誘敵深切邊打邊撤，3月24日，日軍逼近台兒莊開端向台兒莊地區大肆打擊。