1921年7月，中国共产党在上海召开第一次全国代表大会（以下简称“中共一大”）后，根据大会制定的《中国共产党纲领》之第七条“每个地方，凡是有党员五人以上的，必须成立委员会”的规定，因山西省境内当时没有共产党员（有一山西籍的共产党员高君宇当时在北京从事革命工作），故没有建立“地方委员会”，而是由李大钊任书记的中共北京地方委员会领导山西省党的工作。
　　1924年5月，中共北京区委员会委员长李大钊派高君宇（山西静乐人。后当选为中共第二届中央执行委员。曾任中共中央机关报《向导》编辑、孙中山秘书等职。1925年3月5日在北京病逝，年仅29岁）回家乡山西建立党组织。
　　1924年5月下旬，高君宇由北京到天津经石家庄回到太原。首先为李毓棠（山西忻县人。1922年任青年团太原地方执行委员会书记，1923年8月在北京经高君宇、王振翼介绍，成为中共候补党员。1929年1月被捕，1931年春获释出狱后与党组织失去联系。1949年后曾任太原市政协副主席等职。1960年6月21日在太原病逝，享年60岁）办理转正手续。接着，与同月返回山西的安源团地委书记贺昌（山西柳林人。后当选为中共第五、六届中央委员。曾任红军总政治部副主任等职。1935年3月10日在江西会昌与敌战斗中牺牲，年仅29岁）在太原团组织的协助下，又发展了青年团太原地委执行委员会委员潘恩溥（又名潘泽卿。曾任中共西北特别委员会组织部部长等职。1931年10月11日被捕。1932年5月获释后自动脱党，1972年2月29日逝世，终年73岁）、太原汾河中学团支部书记侯捷庵（又名侯士敏，山西平遥人。当时为太原法政专科学校学生。1927年被党组织派到军阀张发奎部队，任教导团营长。1927年12月11日率部参加广州起义时牺牲）、青年团太原地委执行委员会组织部部长张叔平（又名张秉铨，山西方山人。曾任中共浙江省委组织部部长等职。后被捕。1928年1月20日英勇就义，年仅31岁）、青年团太原地委执行委员会委员张堉麟（又名张养田，山西灵石人。1926年1月被开除党籍。1949年后曾任山西大学讲师等职。1966年12月4日在太原病逝，终年59岁）等四人加入中国共产党。接着按照1923年7月中共三大通过的《中国共产党第一次修改章程》中“凡有党员五人至十人均得成立一小组，每组公推一人为组长”的规定，在山西省立第一中学成立了中共太原小组，由李毓棠担任组长。这是山西第一个中共地方党组织，也是北方地区较早建立的地方党组织之一。
　　1925年2月，中共四大通过的《中国共产党第二次修改章程》中规定“凡有党员三人以上均得成立一支部，每支部公推书记一人或推三人组织干事会，隶属地方执行委员会”。按照这一新的规定，中共太原小组改称中共太原支部。张叔平任书记。纪廷梓（山西太原人。曾任中共天津市委组织部部长等职。1931年1月5日被捕，10月7日被秘密杀害，年仅28岁）、傅懋恭（后改名彭真。山西曲沃人。1949年后曾任中共北京市委书记等职。1997年4月26日在北京病逝，享年95岁）、李毓棠等先后任支部干事会成员。10月，中共北方区委派崔锄人（河北唐县人。1927年7月任中共山西临时省委组织部长。1930年4月在天津被捕。1934年7月出狱后与党组织失去联系。1949年后曾任河南南阳中学校长。1959年12月28日病逝，时年54岁）到山西太原任中共太原支部书记。11月，在中共太原支部的基础上，组建了中共太原特别支部，由崔锄人任书记。12月，中共北方区委决定撤销中共太原特别支部，成立中共太原地方执行委员会（简称“中共太原地委”），崔锄人仍任书记，王鸿钧任组织部部长，周玉麟（山西晋城人。后在任共青团山西省委书记时被捕。1930年病逝于狱中，年仅24岁）任宣传部部长。1926年10月，李大钊派遣颜昌杰赴山西担任中共太原地委书记。
　　1927年5月19日，中共山西省委成立。颜昌杰（湖南安乡人。1927年6月，由于阎锡山开始在太原“清党”，被迫离开太原返回北京。12月7日在北京病逝，年仅22岁）任书记。不久，山西党组织遭到阎锡山当局和国民党清党委员会的双重镇压。7月，中共山西省委改为中共山西临时省委，王鸿钧（山西临猗人。1928年冬赴莫斯科学习。1929年在莫斯科病逝，年仅20岁）为代书记。
　　1929年3月25日，在上海的中共中央政治局常委兼组织部部长周恩来起草了《中央给顺直省委并汪铭同志的信》，决定“目前山西可不成立省委，先着手于地方工作的恢复和建立”。5月，根据中央指示信的精神，撤销中共山西临时省委，成立中共太原市委，归中共顺直省委领导，汪铭（陕西神木人。1929年7月21日在太原被捕，1931年10月31日英勇就义，年仅28岁）任书记。8月，中共太原市委改称中共太原临时市委。
　　1930年4月，中共顺直省委将中共太原临时市委改称中共太原特别区委员会（简称中共太原特委），实际负责山西党的工作，王青士（安徽霍邱人。曾任中共青岛市委书记等职。1931年1月17日在上海被捕，2月7日深夜被国民党反动派秘密杀害于龙华，年仅24岁）任书记。10月，中共中央北方局决定成立中共山西省委，刘天章任省委书记，阴凯卿任省委组织部部长。12月，中共中央决定撤销北方局和顺直省委，成立中共河北临时省委，中共山西省委改为中共山西特委，归中共河北临时省委领导，刘天章任中共河北临时省委候补委员、山西特委书记。
　　1931年1月，阴凯卿任中共山西特委书记，刘天章担任组织部部长，9月，因叛徒告密，阴凯卿、刘天章等被捕。11月13日，阴凯卿（山西夏县人，就义时年仅27岁）与刘天章（陕西高陵人，就义时年仅38岁）在太原小东门外惨遭杀害。
　　1932年2月，中共河北省委派栗再温（河北平山人。1949年后曾任山东省副省长等职。1967年2月逝世，时年59岁）任中共山西特委书记。
　　1934年1月，中共山西特委秘书处遭破坏，在此情况下，中共中央决定组成太原临时工作委员会，代替山西特委，坚持斗争，并任命中共山西特委宣传部部长黄彝（湖南长沙人。1934年3月20日在太原病逝，年仅31岁）为书记。黄彝病逝后，由王继尧任书记。11月，经请示中共中央同意，中共太原临时工作委员会改为中共山西工作委员会，由王继尧（山西定襄人。1935年7月被捕，11月惨死狱中，年仅34岁）任书记。后由王文达（山西汾阳人。1949年后曾任中国科协书记处书记等职。1994年6月20日在北京病逝，享年90岁）任书记。
　　1936年6月，中共中央北方局派李宝森（山西清源人，今属清徐县。1949年后曾任河南省平顶山煤矿矿务局副局长等职。1989年逝世，终年78岁）任中共山西工作委员会书记。10月，张友清（曾任八路军前方总部秘书长。1942年7月7日在太原俘虏营中牺牲，年仅37岁）任中共山西工作委员会书记。
　　1937年10月，中共中央北方局决定，在山西分四个区域设置党组织。在晋东北组建中共晋察冀省委;在晋西北组建中共晋西北临时省委;在晋东南组建中共冀豫晋省委;组建以张友清为书记的中共山西省委（同时撤销中共山西工作委员会），在太原失守前转移到临汾，负责晋西南党的工作。
　　1938年2月成立的中共晋西省委和中共山西省委于5月14日在孝义县组成中共晋西南省委后，统一領导晋西南抗日根据地党、政、军、民的工作，林枫任书记。此后，一直到解放战争时期，山西省境内没有统一的中共山西省委。同年10月，根据中共中央关于敌后省委改称区党委的指示，中共晋西南省委改称中共晋西南区党委，林枫（黑龙江望奎人。1949年后曾任全国人大常委会副委员长等职。1977年9月29日在北京病逝，享年71岁）任党委书记，仍隶属中共中央北方局领导。
　　1940年1月，中共晋西南区党委奉命转移到晋西北抗日根据地，2月与中共晋西北区党委合并组成中共晋西区党委。机关先后驻临县、兴县等地，随着抗日根据地局面的发展，山西党的工作由先后成立的中共中央晋察冀分局（后为中共中央北方分局）、中共晋西北区党委、中共晋西区党委、中共中央晋绥分局、中共中央太行分局等领导。
　　1949年8月1日，华北人民政府发布调整行政区划的通知，撤销抗日战争以来形成的根据地行政区划及相应的党政军领导机构，决定恢复山西省建制。8月22日，中共中央华北局按照新山西省建制，宣布撤销山西省境内各区党委，批准了中共山西省委组成人员，9月1日成立中共山西省委，第四野战军十三兵团司令员程子华（山西解县人。任中共山西省委书记至1950年9月，后曾任全国政协副主席等职。1991年3月30日在北京病逝，享年86岁）任省委书记。