蚌埠前线战斗正酣的时候，鲁南战场上双方也进入了白热化阶段了！
在鲁南作战的紧张时刻，蒋委员长亲率白崇禧副参谋总长、军令部林蔚次长等，由武汉抵达徐州前线，并召开了军一级高级军官参加的军事会议，对当前及今后作战问题进行了研究与交待。
并留白、林等在徐州组成参谋团，协助战区组织策划作战。
随后，白副总长等视察台儿庄之后，即调野炮1营、战防炮1连，铁甲车1列，归防守台儿庄的31师池峰城将军指挥，极大地加强了台儿庄主阵地的防守力量。
作为此战中日争夺的焦点，台儿庄的位置是极为重要的，这座小城位于峄县的东南，紧靠大运河向西拐弯处的北岸，是水陆码头。
尽管庄子不是很大，但是在庄的东、西、北三面周围约有4公里之坚实寨墙，并有寨门多处。在台儿庄以西约1公里的运河北岸，有通往矿区铁路的台儿庄车站。
此外从台儿庄向西至微山湖边韩庄这一段约40公里之大运河，以及在这一段运河南岸的柳泉、青山泉、贾汪、张山子、涧头、汴塘和在台儿庄以南的燕子埠山地，则构成了徐州以北、东北地区的双重天然屏障。
只要拿下台儿庄，日军西可以攻打徐州，东则是可以为威胁连云港，地理位置非常的重要。
敌63联队的第2大队，于3月24日晚突进台儿庄之后，经1夜激战被守军第31师将其逐出。因其伤亡较大，弹药消耗也多，即在台儿庄以北附近等待增援，作再进攻的准备。
25日晨开始，汤军团向枣庄附近之敌发起反击时，敌33旅团已没有多少机动部队，最后仅抽调约两个步兵中队、两门重炮，于25日的傍晚到达台儿庄增援。
但这两个中队刚到达不久，守军第31师即对其发起反攻，一直战斗到26日，日军第一次增援后，仍然无法发动进攻，要求继续增援。
日军第十师团第33旅团长濑谷启接到第2次要求增援的电报时，亦接到第10师团要其对台儿庄进行果断攻击的指示。当日濑谷决定由63联队长福荣真平率仅有的第3大队前往增援。
当27日福荣真平在前进的途中时，在台儿庄的第2大队已发起攻击，结果台儿庄东北角一段被其占领，但31师又很快将其包围。
福荣真平于27日从峄县出发，当天傍晚到达台儿庄以北约4公里的刘家湖，部署第二天的战斗。
当天早晨濑谷启已决定将第10联队也派往台儿庄，因汤军团在枣庄以东的郭里集附近继续发动猛攻，因而濑谷在27日夜间改变决定，令赤柴八重藏的第10联队不去台儿庄，改至郭里集附近。
而在台儿庄作战中，第5战区始终将主力置于鲁南山区的枣庄、峄县、临沂地区，并对敌发起连续地攻击，使临沂与枣庄、台儿庄之敌无法会合。
对台儿庄的正面则以重兵防守，以31师在台儿庄内及外围附近，此外战区司令部还命令第27师及独立第44旅在台儿庄东侧，第30师在台儿庄西侧，第110师除将运河防线向东延伸至顿庄闸之外，后期将防务交给第22集团军，该师则由万里闸渡至运河以北，在第30师的西侧，攻向台儿庄以北的北洛车站。
3月27日，第5战区在探知日军主力南下台儿庄之后，当即命令汤军团放弃攻击枣庄、峄县之计划，速以一部监视当面敌人，主力向南转移以歼灭台儿庄之敌。