1937年12月13日，日军攻陷南京后渡江北犯。28日，毛泽东致电周恩来和项英，“高敬亭率部可沿皖山山脉进至蚌埠、徐州、合肥三点之间作战”。1938年3月8日，高敬亭任司令员的新四军第四支队，在地方党组织的配合下东进抗日。5月12日，第九团一部在巢县蒋家河口设伏歼敌，首战告捷，揭开了新四军抗日战争的序幕。

1939年5月中旬，新四军江北指挥部成立，张云逸兼任指挥，徐海东、罗炳辉先后任副指挥。6月，江北指挥部对江北新四军部队进行整编，整编第四支队，组建第五支队，并将所辖第四、第五支队和江北游击纵队展开于淮南津浦铁路两侧地区。经过两个多月的连续作战和发动群众，第四支队开辟淮南津浦路西抗日游击根据地，第五支队开辟了淮南津浦路东抗日游击根据地，江北游击纵队在巢县、无为地区开辟了敌后游击根据地，并打开了皖南军部与江北指挥部的联系通道。1939年12月初，刘少奇率中原局到达皖东定远县藕塘镇附近的新四军江北指挥部，直接领导华中抗日斗争。不久，成立了以张劲夫为书记的中共皖东津浦路东省委和以刘顺元为书记的中共皖东津浦路西省委。

1940年3月开始，新四军第四、第五支队在新四军苏皖支队和挺进纵队的配合下，经过一个多月的奋战，取得了定远自卫反击战和半塔集保卫战的重大胜利，粉碎国民党“剿办”皖东新四军的计划，并在路东、路西区建立各级抗日民主政权。9月，江北新四军粉碎日、伪军1万余人对路东根据地的七路“扫荡”，毙伤日、伪军600余人，促进了皖东抗日民主根据地的巩固和发展。