在豫东，5月中旬，徐州危急之际，薛岳统率俞济时、黄杰、桂永清、李汉魂等部在砀山、归德集结，阻击日军由永城北窜和从鲁西南犯。俞济时军在韩道口（夏邑东）、周寨（丰县西南）与日军激战。21日起，日军攻砀山，黄杰军抗击。24日砀山失陷，黄杰军西撤。
5月17日，由菏泽南下之日军土肥原师团一部向仪封（兰封东）攻击。宋希濂军于19日、20日在仪封、内黄与之激战。21日，仪封日军窜抵兴隆集附近，中国军队在罗王砦、白岩与日军激战，贯台（开封东北，黄河北岸）日军渡河增援。21日，蒋介石令李汉魂、俞济时、宋希濂、桂永清各部向内黄、罗王砦、仪封攻击。俞济时、李汉魂、宋希濂各部向兰封、阳堌集急进。胡宗南军团由开封东进，向窜罗王砦的日军攻击。24日，日军攻入兰封。25-29日间，各军主力围攻罗王砦日军土肥原师团。26日，宋希濂军反攻，夺回兰封。同日，李汉魂军克复罗王砦。28日，日军占领归德。29日，日军一部向南进至宁陵。此时，徐州突围部队已安全转移。为避免与日军在豫东平原决战，遵统帅部命令，第一战区各部退向平汉路以西。6月6日，开封失陷。
为阻止日军进攻，中国军队决定在河南中牟县赵口和郑州花园口掘开黄河堤，引起泛滥，造成水障。6月9日花园口决堤放水，次日赵口之决口处亦被冲开。两处黄河水倾泻而下，流入贾鲁河，汇入沙河，以后流向安徽太和、阜阳，汇入淮河。黄河决口，使豫东、皖北、苏北地区44县数万平方公里变为一片泽国，造成大批灾民流离失所，广大民众蒙受巨大灾难。行政院于6月12日制定了黄泛区灾民救济办法，令各地方救抚。黄泛形成的巨大水障，使日军停止了对中国军队的追击，阻滞了日军沿淮河西进和从平汉路南下进攻武汉的部署。6月10日，日军即攻占中牟、尉氏，但因黄河决堤泛滥，日军不得不向东回撤。中国军队于18日克复中牟，26日克复尉氏。此后中日军队沿黄泛区对峙。