1945年9月2日，阎锡山将3万晋军集结在平遥。日本第一军参谋长山冈道武拜访阎，阎说：“日军虽战败了，但素质优秀，希望能留下一部分日军负责保安工作。”山冈回答：“我回去和第一军司令部司令官澄田睐四郎中将商量，尽量满足阁下要求。 ”在晋军的压力下，日军答应了阎的要求，于是澄田出任山西省总顾问，山冈出任副总顾问。阎还下令成立了“第二战区司令长官合谋社”，下设军事处、经济处、总务处、文化处，均由日本人负责，以达到留下1.5万日军为阎服务的目的。
　　集结在太原的日军都急于复员回国，不愿留下，阎虽派人到各部队去游说，但日本官兵无动于衷。于是“合谋社”放风：“ 如果留守人员总数达不到阎长官要求的1.5万人，就将在山西曾犯有杀人、放火、掠夺、强*罪行的人作为战犯判刑，复员回国也无望了。”有的士兵受到上司威胁：不服从命令格杀勿论。这样阎锡山终于将日军如数留下，以壮大自己军力。