采凉山系阴山余脉，海拔2144.6米，为大同市近郊海拔最高的山峰。采凉山以山峰峭拔挺立，高寒异常，冬夏积雪而著称。采凉积雪为大同八景之一。人们常说：北岳恒山千尺高，不及采凉半山腰。
传说，众仙奉玉帝之命云游。一日，托塔天王李靖来到采凉山上空，见采凉山古木参天，涧水潺潺，鸟语花香，山势险峻，雄伟壮观，正是修身养性之所，便按落山头，取下身佩宝剑，命童子埋下作记。天王刚走，送子奶奶曹奶奶也临此处，一眼相中此山，命侍女埋下绣鞋作为标记。哪知所埋之地正是天王埋剑之处。聪明过人、智慧超群的曹奶奶顿生一计。不几日，天兵天将来给天王建宅院，发现曹奶奶早在这里破土动工兴建壁霞宫。托塔天王很生气，责怪曹奶奶占了他的宝地，让她立刻停工拆除。曹奶奶不依不饶，两仙争执不休，遂去玉帝面前评理。二人分别陈述先埋信物一事，玉帝让太白金星到现场评断。太白见所挖之处有天王宝剑，而未见绣鞋，断此地应归李靖。曹奶奶叫他们不要急于下结论，应继续下挖，顷刻间露出了绣鞋。太白见绣鞋在下，宝剑在上，确认这山是曹奶奶先占了。
原来这绣鞋是曹奶奶挖出宝剑后，命侍女下挖三尺所埋。当地人留传：“托塔天王一时误，太白金星老糊涂，送子娘娘施小计，壁霞宫便保留住。”
壁霞宫建成后，香火旺盛，灵气十足，谁家想生儿女，只要在寺庙诚心祈祷一番，便会如意。