根據已掌握的歷史檔案，蔣介石最後一次回浙江，是在1950年4月28日至5月1日到舟山視察防務。
這次舟山之行，迫使蔣介石做出了他一生中最痛苦，但也算是理智的一個決定：從舟山撤軍。蔣介石有成千上萬條理由在舟山守下去。往私裡講，老家奉化回不去了，但是隻要踏上舟山這塊土地，就有一種回到奉化的感覺。從公來看，佔據舟山群島，就可以封鎖大陸，讓上海這個亞洲最大的城市變成一個死港，同時，也可以作為反攻大陸的跳板。但是，當時舟山面對的是中國人民解放軍20萬有備之師，而且有海軍、空軍配合。而舟山12.5萬國民黨守軍相當於國民黨當時僅剩的陸軍部隊的1/3，一旦再遭殲滅，守備臺灣就是一個大問題。臺灣一旦丟失，不要說反攻大陸，連死後也不知道葬身何處了。蔣介石權衡再三，才痛下決心撤軍。蔣介石從舟山撤軍後，舟山群島得以解放。
此後，解放軍又解放了洞頭列島。浙江沿海只有上下大陳、一江山、披山、南北麂山等島嶼仍然被國民黨軍隊佔據著。
逃亡臺灣的蔣介石，為了進一步加強所佔浙江沿海島嶼的防禦，於1951年11月派胡宗南進駐大陳島，擔任新成立的“江浙人民反共救國軍總指揮部”（又名“國民黨大陳列島防衛區”）總指揮（司令），先後增調了四個軍官戰鬥團，總兵力達1.2萬餘人。美國也以“西方企業公司大陳分公司”的名義建立特務機構，配合蔣介石對浙江東南沿海進行頻繁襲擾，同時為其反攻大陸的夢想積極準備。
1954年初，胡宗南因為屢戰屢敗被蔣介石撤職，“國民黨大陳列島防衛區”司令改由劉廉一擔任，下轄步兵一個師又一個團，遊雜部隊七個大隊及一個海上總隊，共兩萬餘人。蔣介石自1950年5月1日離開舟山到臺灣以後，是否還到過這些島嶼，大陸方面就沒有任何史料記載了。
其實，在1954年5月7日至9日，蔣介石在蔣經國和時任國民黨國防部長俞大維等人的陪同下，曾前往上下大陳島和南麂島巡視防務，慰問國民黨駐軍。
蔣介石1954年5月6日離開臺灣，乘軍艦前往浙江大陳島。5月7日早上7時半，軍艦抵達大陳洋麵，拋錨停泊。蔣介石“登臨副室外”，由蔣經國指點介紹周邊各個島嶼。10時，蔣介石入港登上大陳島，五年後重返浙江的第一感覺，就是“更覺故鄉可愛”，所以，在明媚的春光下，蔣介石“留戀不忍離此”。8日，蔣介石準備去被美國號稱“美國造、擊不沉的戰艦”的一江山島看看，但由於霧重而沒有去成，只好到南坑街“縣政府”、天后宮小學與修船坊等處巡視。9日，在微風細雨中蔣介石抵達南麂島，想親自勘定飛機場址。蔣介石認為，在南麂島建設機場，對大陳的空援和將來反攻大陸都是不可缺少的。然而南麂島都是島礁，幾乎沒有大片平地，蔣介石看後大失所望，感到如果要完成機場建築，必須有一筆“絕大經費也”。10日上午，蔣介石乘坐的軍艦抵達臺灣基隆。蔣介石最後一次回浙江的行程也到此結束。
蔣介石最後一次回浙江的心情，除在他5月7日登上大陳島的日記中充分反映外，在他5月底寫的上月反省錄第12條中還有這樣的描繪：“巡視大陳乃為五年來第一次回至浙土，其歡樂等於回武嶺故鄉，精神上不自覺其為何如此愉快也。”從日記中可以看出蔣介石對家鄉依戀不捨。
1955年1月18日，中國人民解放軍海陸空三軍首次聯合作戰，解放了大陳島的門戶——一江山島。蔣介石在無可奈何的情況下，只好接受美國第七艦隊司令蒲賴德的建議，同意主動從大陳撤兵。這樣，一個從大陳撤退的“金剛計劃”在美國的督促下，由蔣介石親自主持制訂出來。
所謂“金剛計劃”，就是要撤退大陳地區的所有國民黨部隊和劫走島上全部居民。2月5日，美國總統艾森豪威爾下令美國第七艦隊和空軍第五航空隊掩護國民黨軍隊從大陳等島撤退，並把島上的居民運到臺灣去。2月8日，大陳島的國民黨軍隊開始撤退。此時，負責解放大陳等島嶼的中國人民解放軍浙東前線指揮部接到了國防部長彭德懷的電話：此事牽涉到國際關係，就讓他們撤退算了。據此，浙東前指決定撤銷攻擊大陳之敵的計劃。從2月8日到12日，大陳、漁山、披山等島嶼的國民黨部隊2.5萬餘人和被劫居民1.8萬餘人全部撤到了臺灣。2月24日，盤踞在南麂島上的國民黨軍隊在大沙岙用大米、白糖築起了一個臨時碼頭，用登陸艇將島上近3000多居民強行帶往臺灣，帶不走的物資，全部燒燬，南麂島成為一座名副其實的空島。
