在整個抗戰期間，晉綏軍偏居晉西一隅，地盤狹窄，人口不多，經濟凋弊，部隊始終無法得到發展。到1945年時，晉綏軍仍然只保有十二萬人。番號雖然有八個軍，但每個軍只有一萬多人，實力和裝備一直是困擾閻錫山最大的難題。
1945年7月，同盟國發表波茨坦公告，敦促日本無條件投降，日本戰敗已經迫在眉睫。閻錫山看上了山西境內的數萬日偽軍，希望收編偽軍和留下一部分日軍來加強晉綏軍的實力。8月14日，日本天皇發表《終戰詔書》宣佈無條件投降。8月30日，閻錫山在大批隨從的護衛下返抵太原。到太原後的第一件事就是對山西境內的偽軍進行全面收編，共編為五個省防軍。任命趙世鈴為省防軍第一軍軍長；統轄太原附近的偽軍；趙瑞為省防軍第二軍軍長 二、十三集團軍和上黨保安隊；王乾元為省防軍第四軍軍長，統轄偽冀寧道保安隊和偽太原急進建設團。韓步洲為省防軍第五軍軍長，統轄大同和晉西一帶的雜牌偽軍。共收編偽軍五萬餘人，以上五個省防軍軍長都是日據時期的漢奸。又把殘留太原的日軍官兵約3000人改編為暫編第十獨立總隊，以日軍第一一四師團長三浦三郎中將為最高指揮官。
閻錫山未到太原之前的8月15日，在孝義召開會議，研究派兵攻佔上黨問題。此時的上黨為八路軍太行和太嶽兩個行政區的地方部隊據守。閻錫山派第八集團軍副總司令兼第十九軍軍長史澤波為指揮官，統兵三個師、兩個挺進縱隊，三個獨立團共一萬七千人趁八路軍主力部隊不備，於8月26日襲佔了整個上黨五縣及長治市。
當時中共中央主席毛澤東正率團在重慶與蔣介石談判。為反擊國民黨的進攻，配合重慶談判，中共中央軍委於8月下旬指示晉冀魯豫軍區對入侵上黨之國民黨軍隊進行堅決反擊，務必收復失地，清除解放區腹心之患。八路軍晉冀魯豫軍區首長劉伯承、鄧小平率領太行、太嶽、冀南三個二級軍區和地方部隊共3.1萬人，以5萬民兵相配合。經二十天時間，首先收復長治市外圍五個縣城，殲敵5000多人。於9月20日將長治之敵一萬多人團團包圍。長治守將史澤波驚恐萬狀，急忙向太原閻錫山求救。經過一番密商，閻錫山決定派第七集團軍副總司令彭毓斌帶許鴻林之第二十三軍、孫副林之第八十三軍共六個步兵師，另以晉綏軍炮兵司令胡餘三帶兩個炮兵團24門火炮。附省防第三軍四個團，共2.1萬人前往長治救援。
9月24日，劉鄧得悉閻錫山派出的援軍已抵子洪鎮以南，遂留冀南縱隊和太嶽縱隊一部及地方部隊繼續圍困長治，令太行、太嶽縱隊主力迅速北上打援。10月2日，將國民黨援軍包圍於虒亭以南老爺嶺、磨盤堖、榆林地區。在北上包圍援兵的過程中，得知敵援軍遠遠超過原先估計的兩個師7000人，而是六個師2.1萬人。為確保打援的兵力優勢，劉鄧大膽決定除留一個團一千多人看住長治之敵一萬多人以外，將冀南縱隊主力全部北調參加圍殲援敵之戰。10月5日發起總攻，經兩天激戰，除約2000多人逃回沁縣外，其餘援敵均被殲滅，主將彭毓斌被擊斃，生俘炮兵司令胡餘三。
安守長治達五天之久無所作為的史澤波得知援兵被殲，知道長治不保。於10月8日率餘部一萬多人棄城西逃。劉鄧首長及時命令太嶽縱隊陳賡部追擊。陳賡率部經三天追趕，於10月11日在沁河東岸的馬壁、將軍嶺一帶將逃敵史澤波一萬多人追上，激戰一天，除敵之先頭團周建祉部一千多人先期逃過沁河循去以外，史澤波部一萬多人被全殲，主將史澤波被生俘。
上黨反擊戰歷時47天，殲滅晉綏軍第二十三軍、第八十三軍全部六個師，第六十一軍六十九師、第十九軍三十七師、第六十八師、及兩個縱隊（相當於團）又四個省防軍團共計3.3萬人，佔晉綏軍當時全部兵力的四分之一。八路軍繳獲完整山炮20門、迫擊炮300餘門、重機槍30挺、輕機槍1300挺、各種長短槍1.6萬枝。而且首開晉綏軍高級將領被擊斃和被生俘的先河。
縱觀上黨之戰中的晉綏軍，幾乎就象任人宰割的鴨子一樣，在兵力與八路軍相當，武器裝備大大好於八路軍的情況下，為何如此不堪一擊？原因大概有兩個，一是抗戰勝利後，晉綏軍從上到下已經失去了初創時期的那種銳氣。二是晉綏軍高級將領中有才幹者已經紛紛離去，留下來的都是些無能之輩，這是導致風光一時的晉綏軍日薄西山，無可挽回地走向沒落的兩個最主要原因。
上黨戰役以後，晉綏軍處於全面防守態勢，根本無力對解放軍作任何形勢的進攻作戰。
1946年根據國民黨中央的規定，對國民黨全軍進行整編。晉綏軍整編成6個軍，18個師，又三個總隊。以及部分炮兵團、機槍團、工兵團、特務團。取消了在上黨戰役中被全殲的第二十三軍和第八十三軍的番號。閻錫山回到太原重掌山西大權後，經過一番緊急擴軍然後把大量偽軍收編補充入晉綏軍，使經過整編後的晉綏軍總兵力又達到了二十萬人。其序列如下：
- 第十九軍軍長楊愛源，副軍長於鎮河。轄暫編第三十七師師長雷仰湯，暫編第四十師師長王乾元，第六十八師師長許鴻林。
- 第三十三軍軍長沈瑞，副國軍長溫懷光。轄暫編第三十八師師長韓步洲，暫編第四十六師師長陳震東，第七十一師師長沈瑞（兼）。
- 第三十四軍軍長孫楚，副軍長張翼。轄暫編第四十四師師長衛玉琨，暫編制第四十五師師長趙恭，第七十三師師長高倬之。
- 第四十三軍軍長楚溪春，副軍長孫福麟。轄暫編制第三十九師師長賈宣宗，暫編第四十九師師長趙世伶，第七十師師長劉效曾。
- 第六十一軍軍長王靖國，副軍長梁培璜。轄第六十六師師長婁福生，第七十二師師長艾子謙，第六十九師師長周建祉。
- 第八總隊總隊長趙瑞；第九總隊總隊長楊誠；第十總隊總隊長荊誼（原日軍駐崞縣旅團參謀長今村大佐。）
- 炮兵指揮處指揮高斌。共轄五個炮兵營。野炮團團長肖利鋒，機槍團團長宮子清，工兵團團長徐繼宗，特務團團長劉胡泰，機甲隊隊長朱建業（日本隊人赤星），保安司令部司令閻錫山（兼），副司令趙承綬。
這次整編全國各地方軍閥的部隊都遭大規模裁撤，只有晉綏軍得到大幅度加強。抗戰勝利以後，蔣介石在美國的援助下，力量已經十分強大，對於晉綏軍這樣毫無戰鬥力的雜牌軍，本不應該縱容其擴張，但共產黨在晉綏地區的力量過分強大，而蔣自己的嫡系部隊都還在大西南，保衛山西的責任只好由閻錫山自己來承擔。
晉綏軍雖然得到擴充，但戰鬥力卻下降非常快。從上黨戰役後，晉綏軍在同解放軍作戰過程中連遭敗績。1946年11月下旬，人民解放軍晉冀魯豫野戰第四縱隊陳賡部和晉綏野戰軍第二縱隊王震部聯合發起呂梁戰役，經三天激戰，殲敵1000多人，晉綏軍元老，日本士官學校畢業生楊澄源被俘。
1947年初，晉冀魯豫野戰軍四縱隊和晉綏野戰軍第三縱隊在陳賡、王震、羅貴波、彭紹輝的指揮下，發起汾孝戰役，從1月17日開始，至1月26日，共十天時間，殲滅晉綏軍六十九師全部、第九總隊大部、暫編第四十四師、暫編第四十五師、暫編第四十六師、和第七十一師、七十二師、七十三師各一部共二萬多人。六十九師少將副師長王熙時被擊斃。
雖然晉綏軍在閻錫山指揮下迭遭敗績，但晉綏軍另一名將傅作義部卻仍然保持著強大的戰力。1946年6月，為配合晉南作戰，切斷太原和大同的聯繫，人民解放軍在晉綏野戰軍司令員周士第的統一指揮下發起晉北戰役。經兩個月激戰，收復晉北十多個縣城，殲敵8000餘人。晉北戰役取得勝利後，解放軍為擴大戰果，把晉綏與晉察冀兩大野戰軍聯成一體，經請示中共中央軍委，由解放軍晉綏和晉察冀兩大野戰軍集中九個旅和部分地方武裝共30個團4萬多人，於7月31日再次發起大同戰役。
大同守軍為晉綏軍第八集團軍副總司令楚溪春部1.9萬餘人。楚溪春也是晉綏軍名將，作戰指揮很有章法。經五天激戰，到8月4日解放軍僅殲敵2000多人，不僅大同城讓解放軍久攻不下。而且應縣守敵也十分頑強，正在此關鍵時刻，國民黨第十二戰區司令長官兼綏遠省主席傅作義在蔣介石的督促下，於9月3日出動暫編第十一師、暫編第十七師、新編第三十一師三個師1.3萬人，由其心腹大將董其武統帥分北、中、南三路，從歸綏出援大同。
傅作義是晉綏軍一位慣戰之將，尤其善長於出敵不意，長途奔襲閃擊作戰。戰前傅作義對此戰作了精密部署，保密工作極為嚴密，解放軍一直沒有偵知傅軍的出援路線和真實意圖。
歸綏出援第一關是張綏鐵路上的卓資，此地有解放軍王尚榮一個旅堅守。原定計劃王旅可守三天，以侍援軍到來。可傅軍攻勢甚猛，僅僅守了八小時陣地即被傅軍攻克，解放軍傷亡達500多人，而且險些被傅軍包圍。攻佔卓資後解放軍認為傅軍下一步肯定會南下涼城直援大同。於是解放軍在卓資南下大同方向佈下了埋伏。可傅軍佔卓資後並沒有直奔大同，而是在一天之後突然出現在卓資以東之集寧城外，並猛攻集寧。
集寧危機使解放軍十分緊張，如果集寧被傅軍攻佔，不僅對大同攻城之解放軍形成腹背受敵之勢，而且還可繼續東進晉察冀軍區根據地張家口，行圍魏救趙之實。解放軍急忙增調25個團的兵力，計劃首先擊破集寧城內外之傅作義三個師，經一天兩夜激戰，傅部三個師損失很大，幾乎陷入絕境。可是，狡猾的傅作義估計經過長時間苦戰後解放軍應該已經十分疲憊。在此關鍵時刻他再遣王牌第35軍主力第一〇一師、新編第三十二師，附新編騎兵第四師共1.9萬人以極快的速度突然來援，解放軍猝不及防，集寧終於被攻破，傅部援軍攻入集寧城後，即與集寧城內守軍三個師共六個師合為一體，全力向大同進攻。此時解放軍佈局全部被打亂，而且部隊疲勞，不得不於16日撤圍大同，撤退途中又遭到傅軍騎兵之猛烈截殺，解放軍又受到很大損失。此戰不僅解了大同之圍，而且讓解放軍受到重大損失。傅作義後來洋洋得意地在致毛澤東的電報中聲稱消滅解放軍達二萬多人。
大同集寧之戰解放軍調集50多個團共計10萬之眾，傅作義與楚溪春兩部合計只有5萬餘人。傅、楚兩將以弱勝強，打敗瞭解放軍，成就了二人名將的名聲。也是傅作義指揮的又一次出其不意，遠距離奔襲作戰的著名戰例，通過此戰也充分說明，一支軍隊，其高級將領的軍事素質和作戰毅志、作戰技巧都是戰役得勝的關鍵因素。閻錫山在中原大戰以後，思想和性格都起了很大變化，在用人和容人方面顯得十分狹隘，致使晉綏軍一批軍事人才紛紛離去，再加上編入大量偽軍，使晉綏軍質量下降很快，這是導致抗戰勝利後晉綏軍在與八路軍、人民解放軍的作戰中不堪一擊最主要的原因。
大同防守作戰後，晉綏軍再沒有得到喘息的機會，連續受到沉重打擊。首先於1947年4月在正太路上受到重創，娘子關丟失，第十總隊被殲滅，總隊司令、日本人今村被俘。又於1947年底的運城戰役中損失1.3萬人，運城丟失。再於1948年上半年臨汾戰役中丟失臨汾，晉綏軍與中央軍合計被殲滅2.5萬人。此役後，晉綏軍僅保有晉中、晉北數個城市。
臨汾戰役以後，解放軍對在晉部隊作了調整，任命徐向前為華北野戰軍第一副司令兼第一兵團司令。徐向前是山西人，黃埔軍校第一期畢業，紅軍時期曾經長期擔任紅四方面軍總司令，戰功卓著。
臨汾失守後，閻錫山知道晉中地區已經成了守衛整個山西中北部及太原的最後屏障。為了抵抗解放軍的凌歷攻勢，對晉中地區的防守部隊也作了調整。任命第七集團軍總司令趙承綬為晉中防守司令。指揮趙恭第六十一軍、高倬之第三十四軍、溫懷光第十九軍、劉效增第四十三軍共四個軍14個師，三個總隊22個保安旅，共13萬人。
1948年6月11日，在徐向前的指揮下，晉中戰役正式打響。6月16日，守祁縣的晉綏軍三十七師被全殲；6月21日在介休，僅僅經過三個小時激戰，閻錫山親訓師7000餘人又被全殲；7月12日高倬之第三十四軍七十三師、第四十四師又被全殲。13日、駐守太谷的第九總隊又遭重創，僅僅300餘人逃脫。7月16日解放軍對晉中之敵發起總攻，激戰數日，第四十六師、第七十一師、第三十三軍被全殲，四十六師師長盧鴻恩被擊斃、七十一師師長韓春生隻身逃回太原。三十三軍軍長沈瑞、軍參謀長曹近謙被俘。
7月17日，趙承綬率駐守文水的趙恭第六十一軍、駐守平遙的溫懷光第十九軍、駐守汾陽的劉效增第四十三軍共三個軍部一個整師，以及後勤家屬共兩萬多人在逃往太原途中突然遭到解放軍襲擊，大部被殲滅。趙承綬被俘。7月18日榆次失守，19日介休失守、20日忻縣失守。至此，解放軍發起的晉中戰役勝利結束。晉中戰役閻錫山共損失10萬餘人，晉中防守總司令趙承綬也被解放軍被俘虜。閻錫山僅僅保有太原和晉北之大同等幾個孤立的城市。閻錫山對山西38年的統即將走到盡頭。
晉中戰役以後，閻錫山知道山西已經不保，遂命心腹楊愛源長駐南京，替他打理財務。並把山西工廠企業能賣的全部賣掉變錢。又加強了太原城的防務，委任心腹大將孫楚、王靖國擔任太原防守正副司令。
蔣介石為給閻錫山打氣，鼓勵其在太原與解放軍做殊死拼殺，從西安空運中央軍整編第30師黃松樵部增援太原，擴編為第三十軍。閻錫山還強行通過抓丁以及將太原各工廠工人編入軍隊。將太原守軍擴編為6個軍部、14個步兵師和3個暫編總隊、3個特種師，連同保安部隊等，總兵力近10萬人，擁有各種火炮600餘門。
1948年10月，解放軍成立太原前線總前委，徐向前任書記統一指揮華北軍區第八縱隊、第十三縱隊、第十五縱隊、西北野戰軍第七縱隊、晉中軍區三個獨立旅、陝甘寧晉綏聯防軍區警備第2旅、華北軍區炮兵第1旅等部共18個旅11.5萬餘人，於10月5日發起太原戰役。至11月13日全部攻佔東山四大要點，共殲滅守軍2.2萬餘人，並爭取了守軍第8總隊起義。與此同時，晉中軍區部隊攻佔城北青龍鎮、城南許壇以及汾河西岸的南北堰等據點，緊縮了對太原城的包圍。
11月上旬遼瀋戰役結束後，國民黨軍華北“剿匪”總司令傅作義集團已成驚弓之鳥。中共中央軍委考慮到太原攻克過早，有可能使傅作義集團感到孤立而由平津地區南逃或西撤。為穩住傅作義集團，於11月16日發出緩攻太原的電令。
1949年1月平津戰役結束後，解放軍華北軍區第1、第2、第3兵團分別改稱第18、第19、第20兵團，西北野戰軍第7縱隊改稱第一野戰軍第7軍。3月，第19、第20兵團和第四野戰軍、華北軍區各1個炮兵師，奉中共中央軍委命令開赴太原前線，會同第18兵團等部總攻太原，使太原前線人民解放軍的總兵力增至32萬餘人，與守軍相比佔絕對優勢。此時的太原城內守軍仍然有6個軍的番號，蔣介石又從陝西榆林空運中央軍第83師到太原，連同非正規軍共約7萬人，組成第10、第15兵團部。解放軍攻下太原僅僅只是時間問題。閻錫山眼見自己苦心經營數十年的山西即將落入解放軍手中。在萬般無奈的情況下，指定太原“綏靖”公署副主任兼第15兵團司令官孫楚、太原防守司令兼第10兵團司令官王靖國指揮太原守軍繼續頑抗。於1949年2月15日，以前往南京參加軍事會議會為名，乘飛機逃離太原，他的飛機飛出太原城後，特意飛到家鄉五臺縣上空，最後府瞰了一下美麗的五臺山，頭腦中回憶著自己在山西三十八年跌宕起伏、如夢如幻般的軍政生涯，不禁淆然淚下。他拉上飛機的窗簾，命駕駛員向南京飛去，從此永遠離開了山西。
4月20日，中共太原前委在徐向前的指揮下對太原之敵展開總攻擊。至22日全部攻佔外圍據點，殲滅守軍12個師，並控制了雙塔寺、臥虎山制高點，直逼太原市區。24日凌晨，攻城部隊用1300餘門火炮進行火力準備後，對城垣發起總攻。至上午10時，全殲滅太原守軍。王靖國、孫楚二將被生俘。
1949年4月29日，晉綏軍在山西的最後一個據點大同在晉綏軍第十八兵團副總司令兼大同總指揮於鎮河的指揮下，率殘部一萬餘人向解放軍投降。至此，在中國大地上縱橫馳騁38年的晉綏軍，最終走向滅亡。
