全面抗战时期，八路军和新四军游击队在敌后积极开辟根据地、开展游击战争，抗击了侵华日寇的58％和全部伪军的90％，部队也发展到120万正规军，另外还有200万民兵配合作战。与之相反的是国民党军队，其在进入抗战相持阶段以后，也调回大批部队到华北敌后，在日寇鞭长莫及的山区和乡村驻扎下来，在中条山战役前，沦陷区的国民党军队已经达到100万人。
这些国民党军队中，主要是杂牌部队，在南方，驻守大别山、桐柏山战区的李宗仁部队，麾下是桂军、川军等地方部队的大杂烩。在北方，退守晋西地区的阎锡山晋绥军；盘踞冀南豫北地区鹿钟麟、庞炳勋、孙殿英等西北军旧部；担任苏鲁战区司令的于学忠则是原东北军将领。
但也有一处地方由国民党嫡系中央军占领，也就是与太行、吕梁、太岳三山互为犄角的中条山。这里西起晋南永济与陕西相望，东迄豫北济源、孟县同太行山相连，北靠素有山西粮仓美誉的运城盆地，南濒一泻千里的滚滚黄河，战略地位十分重要。
在抗战初期，国共军队积极配合，相互支援，取得了一定战果。1938年4月，日寇3万余人对太行山区发动九路围攻，驻山西的中央军、晋绥军各部与八路军联合作战，粉碎了日寇围攻，歼敌4千多人，收复县城18座。1940年9月，为了策应八路军百团大战，阎锡山部在吕梁山、卫立煌部在中条山、庞炳勋部在太行山地区也都有过一定数量的出击。
不过，百团大战之后，日寇认识到占领区内中国军队的威胁，开始将主力转向巩固占领区。山西、河北、山东和大别山区的国民党军队都遭到日寇猛攻而发生激战。其中，中条山会战就是一次代表性的战役。由于这里战略地位重要，日寇对此先后发动13次围攻。1941年5月，日寇调集6个师团、2个混成旅团和1个骑兵旅团大举进攻，最终将中条山攻占，并将这里驻守的26万国民党军击溃或俘虏，最高指挥官卫立煌在八路军救援下侥幸脱线，并绕道陕甘宁边区返回。
中条山地区被围攻的同时，于学忠在鲁南地区也遭到猛烈进攻，被迫撤出山东；鹿钟麟被迫辞职返回重庆，孙殿英、庞炳勋等人率部投敌；桂军驻守的大别山地区也一度被日寇攻占，随着太平洋战争爆发，日寇兵力不足，不得不全军撤退，大别山及周边地区重新被新桂系占领。
1943年8月以后，国民党在南方仅剩下大别山和浙西根据地；在北方，尤其是黄河以北地区，仅剩下晋绥军驻守的晋西十几个县，靠着阎锡山与日寇勾勾搭搭才勉强保存下来，昔日驻扎在敌后的上百万国民党军队中，投敌的军队就超过50万人。
