白公馆原是白驹修建的别墅。白驹是四川广安人，在四川军阀混战时期，先后任熊克武部、杨森部团长，旅长，师长等职。1924年被北洋政府授予"将军"名衔，后曾入国名党中央军官学校高等教育班第三期学习。

白公馆约建于20世纪30年代。公馆处所山泉流淌、绿树成荫，与周边的山涧岩石、林木花草和飞鸟相映成趣。白驹以唐代诗人白居易的后人自居，用白居易的号"香山居士"中的"香山"二字为该公馆取名"香山别墅"，并在大门两侧的石柱上刻写了一副对联："洛社风光闲处适，巴江云树望中收。"当地百姓以其住户姓氏称之为"白公馆"。

军统看守所时期

军统局西迁重庆后即在市区望龙门两湖会馆设看守所，1939年4月，又在小龙坎枣子堡设临时看守所，接收从望龙门转来的犯人。1939年10月，为保密和躲避日军轰炸，戴笠亲自选址，买下白公馆改设为军统特别看守所，迁入枣子堡的关押人员，直接受戴笠和军统局司法室领导。

抗战时期，白公馆属于中转性质的看守所，关押人员有军统"违纪人员"，也有"特嫌人员"，还有"共党分子"，大多由望龙门转来，一般属于临时拘押或短期徒刑。在白公馆关押、审讯一段时间以后，部分军统违纪分子和变节者可开开释；而被判"无期徒刑"、"长期监禁考核"以及死刑待决的共产党员和革命烈士，通常在每年军统成立纪念日其间，被押到贵州息烽监狱监禁或执行死刑。因此，在军统局内部有望龙门是"小学"，白公馆是"中学"，息烽是"大学"之说。

中美合作所第三招待所时期

1943年白公馆被改为中美合作所第三招待所，所关押政治犯迁入渣滓洞。

汉奸拘留所时期

抗战胜利后，白公馆结束了中美合作所第三招待所的使命。1945年10月，白公馆又成为关押汉奸的拘留所。关押过周佛海、丁默邨、罗君强等一批汉奸及汉奸周佛海的家人。

西南公安部战法管理所时期

1949年11月30日，重庆解放，原军统"特区"被西南军政委员会公安部接管。1950年6月白公馆被辟为西南公安部战犯管理所，关押部分国名党战犯。

如今，白公馆已经成为免费向公众开放的红色旅游景点。游客在这里可以了解国名党反动派的残酷行径，缅怀革命先烈，感受重庆红岩文化。