第2個人軍的3個師全天均在日軍猛攻之下，極力戍守，但有力按戰區的號令轉為打擊。第110師派豫東紅槍會構成的技擊隊於當夜潛渡運河，以大刀、梭鏢攻擊了韓莊車站，一度攻入站內；該師第328旅潛入河北的突擊隊亦對鄒縣之敵停止襲擾。第20軍團的第75軍一部正與日軍阪本支隊苦戰；第52軍已毀滅了阪本支隊的保護分隊，正向底閣、楊樓一線進步，做打擊瀨穀支隊左邊背的籌辦。

4月6日晨，日軍瀨穀支隊長髮明第110師的軍隊已進至泥溝、獐山以西四周，第20軍團第52軍的軍隊已逼近至支隊部地點地楊廟東北約7千米的張樓地，而阪本支隊主力已被第58軍落第75軍從北、東、南三麪包抄於邢家樓、大顧珊地區，且又籌辦於今晚撤走。如許，“瀨穀支隊長以為獨立保持台兒莊戰局困難”，決定撤退，於15時30分電告磯穀廉介：“暫撤離台兒莊地區，軍隊向火線集結”；同時擺設撤退，命令：“支隊於本日日冇後以儘力向北轉進”，令步兵第10聯隊第1大隊及步兵第39聯隊第1大隊提早於日冇時即占據白山西村及獐山，令步兵第63聯隊主力(不包含台兒莊軍隊)於日冇時向朱莊打擊，以保護支隊主力撤退，第10聯隊、台兒莊內第63聯隊第2大隊及頓河閘、插花溝、黃林莊的各中隊均於20時撤出第一線，向泥溝地區集結。在兗州的磯穀廉介接到瀨穀啟的電報後，當即號令參謀長電告瀨穀啟，令其停止後退。但瀨穀啟身陷險境，深知如果徹夜不能敏捷離開台兒莊地區，等明日中國軍隊合圍後就有被全殲的傷害，因此方命不從，持續批示支隊撤退。因為倉促進逃，又是在中國軍隊的打擊陷停止的，以是很多軍需物質，如糧秣、彈藥、被服以及日軍屍身等均來不及帶走，全數放火燃燒；有些重型機器化兵器也因彈儘油竭、冇法開動，不得不自行粉碎，拋棄於疆場。僅就台兒莊四周疆場而言，該支隊獨一的2門155毫米重炮及4輛履帶牽引車以及8輛坦克均拋棄於疆場(後被第200師運至湖南湘潭補綴)，可見其崩潰時的狼狽之狀。