在竣工至今的一百多年裡，富厚堂迎來送往，獨沒有迎進過真正的主人——曾國藩果然一步未踏進這新宅，只在富厚堂旁邊的思雲館住過1年零6個月。
1866年，曾紀澤攜家眷及77箱書住進來；抗戰期間，曾家100多口人避難老家，是這座宅子人丁最興旺的時段。土改後、“文 革”中，這座宅子是當地公社、衛生院、供銷社、糧站等單位的“公房”。
曾紀澤入住富厚堂後，因為沒地方放書，徵得曾國藩同意後建了藏書樓，於是有了曾國藩的“求闕齋”、曾紀澤的“歸樸齋”、曾紀鴻夫婦的“藝芳館”，後來曾寶蓀又將“思雲館”闢為藏書樓。
據曾昭棉先生回憶，抗戰期間，曾有四五位駐華美軍軍官來到富厚堂，曾約農辦了一桌酒菜請他們。席間對談，曾約農、曾寶蓀是標準的倫敦音，曾昭棉的眾多兄弟嫂子留美歸國，也個個能說英語，讓這些身處山區的美國人大感詫異。他們參觀了藏書樓，看到曾紀澤從英、法、德帶回的各國原版書，以及從藝芳女校運回的英文書，愛不釋手，幾乎不想下樓。“他們後來又來過幾次，有一次吃醉了酒，是用轎子抬回去的。”
與晚清四大藏書樓媲美
曾國藩未點翰林之前收藏的書籍，有文字記載的是26歲進京趕考、返鄉途中在金陵書肆典了四季衣裘購進的《二十三史》。歸家稟告父親後，竹亭公且喜且誡，表達了這樣的意思：借錢買書不怕，可以盡力想法替你贖還，你若能圈點一遍，就算對得起我了。這一年，曾國藩幾乎足不出戶，將《二十三史》通讀了一遍。
富厚堂藏書樓
京師為官12年，也是曾國藩流連琉璃廠30多家書鋪、結交書友的12年。身居高位之後，一些地方官和士紳投其所好，大量呈贈書籍字畫，其中不乏珍本。
據胡衛平考證，富厚堂這4座藏書樓16間房、800平方米，歷經5代人，共藏書30萬卷（約計10萬冊），足以與晚清四大私人藏書樓——浙江陸心源的“皕宋樓”，浙江丁申、丁丙兄弟的“八千卷樓”、山東楊氏的“海源閣”和常熟瞿氏的“鐵琴銅劍樓”媲美。
胡衛平告訴記者：曾家藏書的價值，首先在於相當數量的宋版書，如宋紹熙刻本《公羊傳》31冊、宋撫州本《禮記》16冊、北宋本前後《漢書》各60冊、宋刻本《儀禮疏》、宋版《莊子》、宋本《箋註陶淵明集》、《蘇寫陶書》、宋拓《皇甫碑》等。其次在於，凡是曾國藩做過官的地方，只要有縣誌，他都收藏，共計70多種。曾寶蓀在回憶錄中說過：“我家的縣誌是很珍貴的一部分。”
曾家保存了豐富的研究近代史的資料，如奏摺、諮札原稿；錄存的朝廷諭旨；兵部、吏部、戶部以及平行督撫、將軍來往公文的抄件；不同年份的軍餉、協濟徵解、調撥銀兩、錢糧收支賬目和下屬官吏月薪年俸的批定、改定；還有太平軍將領和觸律違紀者的“供狀”、“供詞”；甚至與下屬會面後，此人才、器、識、學、狀、貌、可用與否的親筆手批，也保存著。
此外，樓內收藏文物字畫、字屏畫屏等1000多件；大量的外文原版書，涉及西方政治、經濟、軍事、教育、醫學、農學等等，曾紀澤的“歸樸齋”裡還有一套《大英百科全書》。
樓在，書散
今年91歲的第四代管書人王席珍健在。她最樂意講的，是跟曾寶蓀學英文那段。她沒有正經上過學，卻很能說幾句英語。
曾府藏書樓裡的其它東西，如今大部分已散佚了。
父親王子陵是曾府第三代管書人，教給她“典守”之責：“要像愛護生命一樣愛護這些典籍和文書。”1942年曾寶蓀返回老家，看見庭院荒蕪，不免悽惶。當她轉到藏書樓，只見琳琅滿架，一塵不染。當時，曾國荃大夫第中的藏書已經一本不剩了，曾寶蓀大嘆“天壤之別”。曾寶蓀在家期間教侄輩學英文，王席珍在一旁伴讀3年，進步很快。
湖南和平解放前夕，曾寶蓀、曾約農姐弟派人回富厚堂，將曾國藩父子兄弟的日記、手跡以及部分珍貴文獻（包括《李秀成自述》真跡等）裝成4大箱運到九龍。他們在香港寓居了兩年。1951年，陳誠以“中華民國副總統”名義一再邀請曾氏姐弟赴臺，運到九龍的這部分曾氏家藏手稿文獻同年隨曾氏姐弟遷置臺北。1972年，年事已高的姐弟二人將它們寄存在臺北故宮博物院，直到今天。
王席珍守著剩餘的部分。她清楚地記得，1949年下半年，長沙來了兩個姓陳的人，將3座書樓打上封條；又過了
四五年，省城來人僱請民工將書擔至衡山縣百果鎮，足有200多擔，然後裝船發運長沙。現在湖南圖書館收藏有曾氏富厚堂各類圖書和手抄本12000多冊，湖南博物館收藏有曾國藩親自批點的鄱陽湖胡克家翻元興文署本《資治通鑑》以及部分書畫等。藏書樓裡的其它東西，在經歷“土改”、“四清”、“文革”等等之後，大部分散佚了。胡衛平告訴記者，“土改”時，曾有村民將曾家線裝書上、下的留白部分（用作眉批之類）裁掉，因為“可以充當一本記賬的小本本了”。今天的藏書樓，架上零星躺著些影印件或從附近村民家收來的線裝書，擺擺樣子。曾經存在110年的曾家藏書樓，空了。
2006年，曾國藩故居藏書樓被列為國家重點文物保護單位。
閱讀更多 古籍 的文章
