當年劉秀帶習鬱巡遊黎丘（今襄陽鹿門山景區）一帶,一路顛簸勞累,身子睏乏,由不得連連打起呵欠,他倆就地坐那兒打個盹。一覺醒來,劉秀倦容頓消,笑嘻嘻地說:“啊呀,朕剛才做了個夢,像是好兆頭啊!”習鬱趕緊附和:“臣剛才也有一夢,吉祥得很呀!”
劉秀問:“愛卿夢見了什麼?
習鬱猛一怔。他本想打個順風旗,討皇上歡心,沒想到皇上刨根問底,問他夢見什麼。俗話說,日有所思,夜有所夢兩人各有心思,誰知道皇帝夢的啥呢?要是習鬱說出的夢不如皇帝的意,豈不是“沒吃到羊肉,還惹一身臊”!但習鬱是見過大世面的人,肚裡文墨多,有眨眼見識。他想到皇上千裡迢迢跑到這荒山野嶺,不就是為建廟封神,安撫活人死鬼麼。我請出山神助我陣,保準皇上滿意,於是他答道：
“臣夢見蘇嶺山的山神,兩隻靈鹿來朝拜皇上。”“哈哈……巧,真巧,朕也夢見兩隻鹿跪到面前。好,好啊!”他當即下諭旨:雕兩頭石鹿供在那裡，御筆親題“蘇山廟”三個金字,鑲在廟門上。
光武帝只想到找由頭建廟,卻無意中害苦了蘇嶺山神養的兩隻靈鹿。這兩隻鹿生就的野性子,平素在山上跑上跑下,到處都有青草,它們走哪兒吃哪兒,無拘無束,自由自在。皇帝張個嘴就是天命,誰也不敢違抗,把兩隻石鹿塑到廟裡,兩隻鹿的魂靈就附了上去,這一來,它們為吃的犯起愁來,咋的?每日來廟裡燒香上供的不少,都是刀頭供香饃,這兩隻鹿只生了張吃草的嘴,哪兒有用青草供神的?它們餓得實在沒法,只好夜裡悄悄地溜出來,到山下田裡吃青苗,不等天亮又跑回廟裡,這樣將就著過日子。
蘇嶺山下有個村子叫故人莊。莊上的人們見青苗被吃去一些只當是誰家的雞鴨糟蹋的,也不在意。誰知一天兩天,一月兩月,莊稼糟蹋得越來越多,人們在心了。
一天夜裡,幾個鄉親悄悄藏到地裡,看到底是什麼東西糟踏的莊稼。夜深人靜時,模模糊糊看到兩隻鹿下了田,以為是誰家的羊跑出來,就一齊來攆。兩隻鹿縱身往山上跑。鹿跑得快,大夥攆不上,就扔石塊子撞。兩隻鹿跑呀跑,最後鑽進了蘇嶺廟,人們才沒敢闖進去。
天亮了,有人在山坡上揀到一隻鹿腿,人們才知曉,夜裡攆了的是蘇嶺廟裡供的兩隻神鹿啊。母鹿在逃命的時候,稍微慢了一步,捱了一石頭,被打斷一條腿。母鹿腿斷了,不能到廟裡供,只好蹲到廟的一邊。公鹿見母鹿下了供桌,也下來,蹲到廟門另一邊,陪著母鹿。從此蘇山廟的廟門前有了一對鹿,人們就把蘇山廟叫做“鹿門廟”了，後道佛時有更替，逐步演變成了今日的鹿門寺了，蘇嶺山也跟著叫鹿門山了。
進入新時代，這裡的文化逐步被大眾揭曉，成了今日的鹿門山風景名勝區。關於靈鹿的故事經久不衰，仍是人們茶餘飯後的談資。
