1938年3月27日，得到增援后的日军对台儿庄城发动第3次攻击。日军炮轰台儿庄围墙，北城墙被炸塌，小北门亦被毁，守卫小北门的181团3营官兵牺牲殆尽，300多鬼子兵突入城内，惨烈的巷战开始，城内中国守军同日寇展开了激烈的巷战。尽管日军占据了全庄的三分之二，但坚守在南关一带的中国守军至死不退，死守阵地，目的是为了外线部队完成对日军的反包围。参谋长封裔忠部以部分兵力死守台儿庄，守军尽量拖住敌人，以便庄外的大军将日寇团团围住，来个瓮中捉鳖。
28日，日军攻入台儿庄西北角，谋取西门，切断中国守军第31师师部与庄内的联系。该师师长池峰城指挥，以强大炮火压制敌人，并组织数十名敢死队员，与敌肉搏格斗。汤恩伯军团关麟征第52军和王仲廉第85军在外线向枣庄、峄县日军侧背攻击。
3月29日，日军濑谷支队再以兵力支援，并占领了台儿庄东半部。29日，林蔚转述蒋介石的电令：台儿庄屏障徐海，关系第二期作战至巨，故以第二集团军全力保守，即存一兵一卒，亦须本牺牲精神，努力死拼，如果失守，不特全体官兵应加重罚，即李长官、白副总长、林次长亦有处分。
31日，**守军将进入台儿庄地区的