长沙从战国时期有城池开始，小西门一带就一直是城市的核心区。
五代十国时期的楚国以长沙为国都，推行重商政策，小西门风貌区内有著名的茶马交易场所。
到清代，小西门风貌区已成为外省客商聚居之地，外省的许多会馆如苏州会馆、中州会馆都建在这个风貌区内。
《广阳杂记》一书中，记载了清朝康熙年间小西门的盛景：
长沙小西门外，望两岸居人，虽竹篱茅屋，皆清雅淡远，绝无烟火气。远近舟楫，上者，下者，饱张帆者，泊者，理楫者，大者，小者，无不入画。天下绝佳处也。
这段话描绘了当时的小西门竹篱茅舍、千帆竞发的景象，认为这里是“天下绝佳处”。
辛亥革命后，黄兴回到长沙，从小西门进城……