二月下旬，日軍南進部隊的磯谷支隊沿津浦鐵路南進，三月十四日由鄒縣以南的兩下店進攻滕縣。守軍國軍第二十二集團軍第四十一軍英勇抗擊，傷亡慘重，苦戰至十七日，該軍守城的國軍第一二二師師長王銘章將軍在發出「決以死拼以報國家」的最後電文之後，即於破城後的巷戰中，與參謀長趙渭濱將軍、鄒紹孟將軍同時壯烈殉國，滕縣失守。
隨後，磯谷師團長未待在蚌埠的增援軍北上支援，即直撲臺兒莊，企圖一舉攻下徐州，打通津浦路。日軍總數約有四萬人，擁有大小坦克車七、八十輛，山野炮和重炮百餘門，大批輕重機槍，還有飛機助戰。徐州及鐵路沿線橋樑車站，被日機轟炸的一塌糊塗。三月二十三日，日軍與守衛臺兒莊的由孫連仲將軍率領的國軍第二集團軍相遇，臺兒莊大戰正式開始。
三月二十四日，日軍開始猛烈炮轟國軍防衛工事，戰鬥激烈期間，第二集團軍陣地每日落炮彈竟達六、七千發。炮轟之後，日軍又以坦克車為前導，向國軍陣地猛攻。臺兒莊外圍陣地工事被悉數摧毀，日軍步兵隨後越過戰壕，步步向前推進。國軍因武器太差，僅能以血肉之軀與日軍炮火、坦克車猛烈搏鬥，當坦克車突入戰壕時，不少中國士兵腰纏炸藥包，與日軍坦克同歸於盡。日軍猛攻三晝夜，才衝入臺兒莊城內，與國軍發生激烈巷戰，第二集團軍至此已傷亡過半，漸有不支之勢，孫連仲總司令死守待援。自二十七日起，雙方軍隊在臺兒莊寨內作拉鋸戰，情況異常慘烈。
與此同時，臺兒莊外圍戰鬥也空前激烈。國軍擊潰了日軍第五師團和第十師團主力的無數次猛攻，使其不能直接增援臺兒莊莊內的日軍，延長了莊內國軍的堅守時間。
在此危急時刻，裝備有德軍配備的湯恩伯軍團奉命迅速南下，夾擊日軍，然此時臺兒莊的守軍已傷亡殆盡。至四月三日，全莊三分之二已為日軍佔據，日軍電臺宣稱已將臺兒莊全部佔領。
四月四日，日軍用燃燒彈攻擊臺兒莊，試圖將臺兒莊夷為平地，孫連仲第二集團軍此時處境已極其危險，連預備隊都已經用完。孫連仲對師長池峰城說：
「士兵打完了你就自己上前填進去，你填過了，我就來填進去。有誰敢退過運河者，殺無赦！」 池峰城 奉命後，乃命令城內各守備隊利用地形和斷牆殘壁，築起第三道防衛工事，勉強與日軍週旋，國軍士兵逐屋抵抗，任憑日軍如何拚死衝鋒，也堅守不退，戰至黃昏，進攻的日軍不支，退了下去。
四日深夜，孫連仲打電話給李宗仁，請求撤退到運河南岸。李宗仁深思後說：「敵我在臺兒莊已血戰一週，勝負之數決定於最後五分鐘。援軍明日中午可到，我本人也將於明晨來臺兒莊督戰。你務必守至明天拂曉，並要組織夜襲。堅持就是勝利，待明天援軍到後，我們就可對敵人內外夾攻！這是我的命令，如違背命令，當軍法從事！」
非常湊巧，日軍原定在次日拂曉發動總攻擊，軍事指揮部的夜襲命令，確是及時。當夜孫連仲部隊在軍事指揮部督促下，組成數百人的敢死隊，連輕傷員亦參加了戰鬥，分組向敵逆襲，衝進敵陣。仇敵在前，孫部各自為戰，手持大刀，向日軍砍殺，奮勇異常。日軍血戰十日，已精疲力竭，不料戰至最後，國軍還能乘夜夜襲。日軍此時倉惶應戰，亂作一團，血戰數日為日軍所佔領之臺兒莊市街，竟在一夜巷戰中，被孫部一舉奪回四分之三，日軍死傷無數，退守臺兒莊北門，與國軍通宵激戰。
當日半夜裡，李宗仁長官部接到湯恩伯軍團的來電，知湯恩伯軍團已向臺兒莊以北迫近，天明可到，比預定的時間還要早，精神大振。後半夜，第五戰區司令李宗仁前往臺兒莊郊外，親自指揮對磯谷師團的合圍。黎明之後，臺兒莊北面炮聲隆隆，湯恩伯軍團已在日軍背後出現，磯谷師團撤退不及，陷入國軍重圍。爾後國軍內外夾擊，在湯軍團強大炮火支援下，臺兒莊內國軍以敢死隊衝入日軍陣地，與日軍拚命廝殺。
四月六日，磯谷師團已全面崩潰，臺兒莊一線國軍全線出擊，殺生震天。日軍機動車輛多被擊毀，其餘也因缺乏汽油而陷於癱瘓，彈盡糧絕，嚇得魂飛魄散，只顧突圍逃命，逃竄的日軍屍橫遍野，被擊毀的各種車輛、彈藥、馬匹遍地皆是。國軍士氣高昂，各軍團向敵猛追，如疾風掃落葉，銳不可擋。
最後，磯谷師團長率殘部萬餘人突圍進入嶧縣城，開始閉門死守，戰鬥信心盡失，對國軍已無絲毫威脅。臺兒莊之戰，至此國軍大獲全勝。
戰後國軍清點戰場，僅掩埋的日軍屍體就近萬，敵軍總死傷在兩萬以上，坦克車被擊毀30餘輛，繳獲各種大炮70餘門，戰車40餘輛，裝甲車70餘輛，汽車100餘輛，機關鎗數百挺，步槍上萬枝，這次勝利，可能也是日本新式陸軍建立以來的第一次慘敗。捷報傳出後，中國舉國欣喜若狂，前線國軍士氣大振
大紀元
