?日军在台儿庄战役失败后，尽管日军统帅部硬着头皮说：“这不是一个败仗，只是指挥官的一次小小的失误，第5、10师团的余部不是溃败逃跑，而是做新的战略转移。”但恼羞成怒的日本政府，立刻召开紧急会议表示：日本政府不能蒙受如此羞辱。
其实，日本天皇原在2月16日的御前会议上说：“在８月以前绝不向新地区发动进攻。”台儿庄惨败后，日军大本营已经无法再考虑战略上深入与分散的问题了，日军必须立刻设法击败中国军队，以挽回“皇军无敌”的声誉。日本天皇立即决定：迅速向中国大规模增加兵力，发动更大的进攻，誓报台儿庄惨败之仇。
日军统帅部深知徐州不可轻取，非调集重兵，四面合围，否则断难打通津浦线。4月间，侵华日军华北方面军和华中派遣军自平、津、晋、绥、苏、皖一带，纠集了13个精锐师团，约30万军队（其中包括矶谷和板垣两师团从台儿庄撤退后，重新集结，补充休整兵力），并配有各种重武器，飞机数百架，兵分6路对徐州形成大包围，采取南北对进，侧翼迂回的战术，企图围歼云集在徐州一带的第5战区主力。
4月7日，台儿庄战斗刚结束，日军前线指挥官电告大本营：徐州地区有一股中国军的强大集团，据可靠情报，该集团约50个师，60余万人，几乎全部为蒋介石的精锐部队。
陆军统帅部顿时惊喜若狂，认为这是报台儿庄之仇的一次难得的战机。
杉山元陆相当即向天皇报告，强烈主张发动徐州会战。他说：“对于集中在徐州方面的中国军予以痛击，可以收到挫伤敌军抗战意志的巨大效果。因而，陆军准备实施对徐州的歼灭作战，由于该敌差不多是中国军队的精锐主力，并且已经处于孤立状态，我军应不失时机，以大的兵力，以大的规模会战，使之一举彻底歼灭该敌。本职认为，只要达到了歼灭这股敌军的战略企图，就能使武力解决中国事变，促使蒋政权屈服投降，迈出决定性的一步，亦可挽回我军在台儿庄的不良影响。”