1928年，部分农工党创始人以“中华革命党”名义开展活动时，就打入阎锡山的司令部建立了“太原小组”；1930年秋，中国国民党临时行动委员会（中国农工民主党建党之初的名称，简称临委会）干部罗任一介绍陈柬之等五人在太原组成山西筹委会，并在阎锡山的绥靖公署吸收了一批成员；1931年春，在山西汾阳县隐居的冯玉祥曾派人与邓演达商谈合作反蒋事宜；1931年秋，章伯钧曾到汾阳县回访冯玉祥，并接受了冯玉祥对临委会的2万元资助。1935年加入临委会的朱程，1937年在山西参加抗战，后在襄垣加入八路军并任华北抗日民军司令员，指挥了著名的襄垣狮山伏击战，被誉为“铁军将才”。1952年李得光（1933年入党）、冯腾骧(1949年入党）分别到山西工作，1953年田刚（1953年入党）到山西工作。于1953年秋成立农工党中央直属太原小组，李得光任组长。后由于种种原因，农工党在山西早期的组织没有能够延续下来。

改革开放后，山西的农工党组织得以重建和快速发展。1983年建立中央直属的基层组织，1988年建立省委会，至今已经历七届省委会。历任省委会主委为：宋金升、王德堃、李龙城、周然（三至六届）、李思进。七届省委领导班子成员现有一正六副，主委：李思进，副主委：张李锁、牛三平、武金贵、解军、张锦（女）、杜宏瑞（专职），秘书长杜宏瑞兼。截止2020年年底，全省11个地市中有7个市级组织，2个总支，1个支部，1个市尚未建立组织，全省共有基层组织179个、党员4904人。党员中有各级人大代表52人，其中全国人大代表1人，省人大代表6人（常委2人、代表4人）；各级政协委员344人，其中全国政协委员2人（常委1人、委员1人）、省政协委员26人（副主席1人、常委4人、委员21人）。