1938年1月1日，戰略要地泰安陷落日軍將領磯谷廉介之手，雖然戰區司令長官李宗仁多次發電要求其奪回泰安，但韓復榘卻對李宗仁的命令置若罔聞，一錯再錯，致使中國軍隊失去了黃河天險，為此，韓復渠遭到了槍斃的處置，而他的一切職務也改由孫桐萱代任。然而正當磯谷師團沿津浦鐵路南下之時，第五戰區也迅速調整了戰術，並先後調集了64個師另3個旅約60萬人，以主力集中於徐州以北地區，負責阻擊北線日軍南犯，而另一部分兵力則部署於津浦鐵路南段，阻止南線日軍北進，以確保徐州安危。
1938年3月初，磯谷師團開始進攻滕縣，而負責駐防此地的僅只有川軍122師這一支孤軍，日軍本以為可以很輕易地便佔領這座城市，結果卻在強攻時碰上了硬釘子，最後沒辦法，只好調來重炮參戰。同年3月17日，日軍攻破滕縣，川軍122師全員壯烈殉國，包括師長王銘章、參謀長趙渭憲等高級軍官。磯谷師團佔領滕縣後，愈發驕狂，開始直撲臺兒莊，結果卻掉進了李宗仁所為其精心設計的陷阱之中，被打得狼狽而逃，史稱“臺兒莊大捷”。
勝利的消息傳到最高統帥部後，蔣介石的抗戰觀點開始發生變化，並將自己的20多萬中央軍全部調到了徐州戰場，其中便包括珍貴的德械桂永清所部，欲借李宗仁部勝利的餘威，和日軍在徐州展開決戰。結果此舉正中日軍下懷，因為這就是他們所謀求已久的消滅中國軍隊主力的戰機，隨後，日軍便迅速集結了10多個師團約30多萬人向徐州地區挺進。就在這時，身處後方的土肥原師團也為搶功開始強渡黃河，打算包抄徐州守軍，結果卻在隴海線附近形成了孤軍深入之勢，被第一、第五兩個戰區牢牢困住，可以這樣說，土肥原師團此時的命運遠比前不久剛遭遇慘敗的磯谷師團更加兇險。
為了能夠全殲這個日軍精銳師團，再打一個“臺兒莊”，蔣介石親自飛抵第一戰區指揮作戰，並利用該戰區的大部分兵力將土肥原師團包圍，誓要一口“吃掉”這支狂妄的侵華急先鋒部隊。1938年5月23日，意識到不妙的土肥原開始率部突圍，並把進攻的重點放在了蘭封，而負責鎮守該地的便是擁有精良德械裝備的桂永清第27軍。按理來說，土肥原選擇的突破口恰恰是包圍圈中最“堅硬”的部分，雙方一定會爆發大戰，然而結果卻令人瞠目結舌，桂永清竟擅自撤離陣地，不到一天，蘭封就宣告失守。
土肥原師團跳出包圍圈後，程潛急忙電令薛嶽重新排兵佈陣，再次圍攻土肥原，新的包圍圈形成後，圍殲土肥原師團看似就只有時間這一個問題了，不料就在這千鈞一髮的時候，蔣介石的另一位心腹愛將——第8軍軍長黃傑又不戰而逃了。由於這兩支嫡系部隊不聽指揮，臨陣脫逃，徹底打亂了程潛的戰略部署，致使殲滅土肥原的寶貴戰機被白白葬送。第一戰區撤兵後，土肥原師團便立即向僅有50公里的開封進攻，而為了能夠抵擋住日軍的機械化，蔣介石便決定孤注一擲，扒開黃河，以水代兵，史稱“花園口決堤”。
慘案發生後，由於百姓沒有及時疏散以及後來間接引發的瘟疫、逃荒等情況，有很多人死在了這場人為的浩劫之中，而花園口決堤也成了抗戰史上的“三大慘案”之一。
