1936年10月,铜雕名人邓小平雕塑三大主力会师后,任前敌总指挥部参谋长、红军总参谋长、援西军司令员等职。抗日烽火抗日战争爆发后,任八路军第129师师长,和政治委员邓小平一起,率部奋战在太行山上。
面对不可一世的日本侵略军,他经常用、等话语来激发将士们的对敌斗争信心。与此同时,他率部多次反击国民党顽固派对根据地的进犯,牢牢把紧太行山这道华北抗日根据地的,使得以免遭敌寇的蹂躏涂炭。
1942年,他与邓小平领导根据地军民实行生产自给,减租减息,精兵简政,度过了抗日战争最为艰苦的岁月。1943年9月,赴延安参加整风运动。
1945年6月,当选为第七届中央委员。1945年8月,就任晋冀鲁豫军区司令员。他采取战法,指挥部队经过28天连续作战,取得歼敌4个整编师6万余人的重大胜利,揭开了人民解放军战略进攻的序幕。