1864年8月，清軍打敗太平軍攻佔天京（南京）後，老謀的曾國藩便立即採取措施將湘軍裁撤，李鴻章也奏請朝廷將淮軍從當時的七萬人裁減至三萬人，其中包括用於“海防”和以洋槍洋炮裝備的二萬二千人。
但對清廷今後如何進行軍隊建設，李鴻章進行了深入思考，他覺得如果要求戰鬥素質較高的淮軍裁撤，那麼作為戰鬥力疲弱的朝廷正規軍——綠營兵，該不該裁撤呢？還有那些淮軍手中正在訓練和使用的西式武器，是否也需要裁撤呢？對這些問題，李鴻章心中自然有自己的想法，但他卻沒敢直接向朝廷或總理衙門提出自己的建議。思來想去，他想到了自己的兩個好朋友，御史陳廷經和時任總理衙門大臣的薛煥，他將自己的建議轉給二人，請他們向朝廷奏議。
李鴻章在建議中，提醒清廷西方列強仍有繼續侵略的可能性，並順勢實施變法，尤其是要徹底改組綠營兵，並以新式海軍取代舊式水師。李鴻章寫信給御史陳廷經說：“今昔情勢不同，豈可狃於祖宗之成法，必須盡裁疲弱，厚給糧餉，廢弓箭，專精火器……選用能將，勤操苦練。”陳廷經接受了李鴻章的建議，奏請改革綠營兵和各省水師。但是正如李鴻章事前所料，朝廷對陳廷經代他上奏這樣的建議並未照單收下，而是將其轉發給曾國藩和李鴻章再考慮。
李鴻章之所以預料其建議可能不被朝廷採納，卻仍舊轉彎抹角提上去，是因為他可能試圖向朝廷表達這樣的想法：目前太平軍叛亂雖已被鎮壓下去，其具有勇字營或“非正規部隊”地位的淮軍，仍然有其用途。李鴻章確實曾在1864年夏考慮過遣散部分素質較差的各營軍士，但其對保留下來的三萬人馬，他卻未進行任何組織上的全面改革。當時曾國藩也曾勸他保留兵力，以便以便同捻軍作戰，從1864年11月開始的幾個月內，淮軍就曾奉旨在安徽、湖北、河南、山東和直隸同捻軍作戰，在福建同太平軍餘部作戰。
到1865年6月，李鴻章去南京署理兩江總督（接替當時負責同捻軍作戰的曾國藩）時，他只將其所部10000人裁遣，其餘60000人中，有不及20000人留在江蘇。可惜不論李鴻章曾抱著怎樣的希望，他想要搞的全國範圍的軍事改革顯然沒有可能了。為此，他曾寫信給曾國藩，感嘆“各省餉源已涸，而徒養無用之兵將”，事雖如此，但李鴻章始終堅持不懈地將西方軍事技術引進中國。1865年，在李鴻章的支持下，丁日昌籌劃購買上海沿江的一家美國商人開辦的“機器鐵廠”，建立了著名的江南製造局。
後來淮軍又經歷了鎮海保衛戰、鎮南關大捷、黃海海戰、威海衛之戰等戰役，淮軍成立時有六千五百人，後發展至數萬人，李鴻章也憑藉淮軍勢力為基礎，擔任了直隸總督兼北洋大臣，掌握了清廷的國家外交、軍事和經濟大權，一舉成為晚清政局中的重要人物。多年來，淮軍也湧現瞭如，張樹聲、劉秉璋、劉銘傳、周盛波、潘鼎新、吳毓蘭、吳毓芬、吳長慶、丁汝昌、葉志超、衛汝貴、聶士成、程學啟等，這些人共同形成了淮系軍閥，成為統治階級中一個重要的武裝政治集團。（文/講史論教）
閱讀更多 市井講史 的文章
