祝枝山生於1461年，年長唐伯虎,9歲，乃是“吳中四大才子”的老大哥，年長唐伯虎和文徵明各9歲、徐禎卿18歲。但祝枝山卻是位“老頑童”式的人物，玩兒起來比唐伯虎還要瘋。武有許褚裸衣戰馬超，文有允明裸體寫書法。祝允明可比許褚脫得徹底，許褚是裸上衣，他卻是裸全身。
瀟灑的祝枝山
某年夏，熱浪讓人恨不得脫去所有外衣，然而，因為世俗理念的限制。每個有頭有臉的人都不敢如此作為，在下人面前仍然要長袍頭冠整齊，顯示出名人高士的作為。祝枝山則不然，他是赤條條地手握大筆，揮汗作書。而這時，好朋友伯虎因為太熟悉了，便沒用通報徑直進入書房。
唐伯虎猛然一見，也是大吃一驚。啊啊了半天。見祝枝山並不理睬，時而做沉思狀，時而做瘋狂狀手舞足蹈抓耳撓腮，光臀四動煞是讓人噴飯。祝枝山因為太認真了，墨汁時不時地點到身上。突然間，祝枝山不知為何毛筆送入了口中。“誒呀”祝枝山大叫一聲，滿嘴黑墨。唐伯虎見狀哈哈大笑。
祝枝山猛聽後面有人，下意識地捂住隱秘之處，回頭一看是唐伯虎，先是尷尬地一笑，其後索性張開了手。
“子畏，你笑什麼！有啥可笑的。”
“笑你一絲不掛，你呀無衣無褐，何以卒歲？（連粗布衣服你都混沒了，以後的日子你可咋過呀！）”
“哈哈，豈曰無衣，與子同袍（誰說沒穿衣服，我和你可以穿一身兒呀！）。”
二人說罷，摟著肩一起談書法藝術去了。
這就是唐伯虎和祝允明的關係，二人在一起不必拘泥於禮教。正是因為兩個人的見面，唐伯虎世俗的心裡便有了不一樣的天空。因為祝允明外祖父“大奸臣”的不好名聲，因為，祝允明的老師沈周“終身不仕”的思想，他早年就很崇尚道家自然、快樂享受的思想。
同奉恩師，一生好友
他們相識是在唐伯虎9歲之後與沈周學畫開始，大概是12歲左右。那個時候的唐伯虎顯然在蘇州小有名氣，詩書畫在他的年紀已屬上乘，被人譽為“神奇小子”的可能性很大。當然，也有可能是祝允明閒來無事去酒館喝酒，突見唐伯虎“小才子也”，因此，前往唐家拜訪，非要拉著小唐伯虎一同做朋友。二人交友其實也很正常，因為，既是才子，又是官宦之後。
自此，二人有了長達四十年的朋友情誼。那個時候，祝允明脫離了雄厚家庭背景的羈絆，而唐伯虎則需要很長的時間，經受很大的挫折後才脫離了功名思想。二人的功名思想，除了主流思想影響外，二人的赫赫家庭背景更是關鍵，“不辱沒祖先”的思想貫穿了他們的頭腦。
首先看祝允明，因為祝允明家裡人七代為官，被人稱為“魁儒家庭”。他的外祖父徐有貞特別有名，他曾幫助被瓦剌在土木堡生擒的明英宗復辟，並且力主殺害大忠臣、民族英雄于謙，可以說他是一個不折不扣的大奸臣。正因為，有著這麼個背景，造就了他在官場上的不如意，雖然外祖父當官類似於丞相（首輔）的高官，但官聲太差的他惹得後代子孫惹天下人白眼。
不過徐有貞雖然是奸臣，但書法卻非常好，行草天下聞名。這也奠定了祝允明在書法上的喜好程度，正如著名的明代文壇領袖王世貞在《藝苑危言》中所說“天下書法歸吾吳，祝京兆允明為最，文待詔徵明、王貢士寵次之。”，他是當之無愧的“為國朝第一”。
殺害大英雄于謙禍首徐有貞（謝廣坤）
另外，構成祝允明性格飄灑、無拘無束的原因也在於家庭環境。生母16歲時病故、父親祝瓛和祖父祝顥在其24歲時先後去世。祝允明的老丈人李應禎官居太僕少卿、廣西左布政使。
祝允明門第高，唐伯虎也不低
再說唐伯虎，唐伯虎的家庭背景是“四大才子”中門第最高的。唐伯虎的遠祖可以追溯到唐雎（戰國時魏國人），後來遷居到江蘇的沛國，六世孫唐都任四川的臨邛令。唐都之孫唐林被封為建德侯，其後因為其子唐蔚被廢遷移到河南的潁川。唐蔚之三世孫唐帽任會稽（今屬浙江）太守，唐帽之子唐翔任丹陽（今安徽當塗縣東北）太守。唐翔之子唐固，任三國時孫吳政權的尚書僕射，主管內政。
唐固三世孫唐彬任晉鎮西校尉、上庸襄侯，其子唐熙把家遷到了甘肅涼州，其子唐鄆任前涼凌江將軍，從涼州遷居晉昌（山西定襄縣西北），由此，才有了唐伯虎經常津津樂道的“晉昌唐伯虎”。 唐鄆曾孫唐瑤、唐諮都做過晉昌太守，永興侯。
唐諮的孫子唐褒受封過晉昌公，成為國家柱石性的人物。唐褒的第四代孫唐儉，在隋唐時期曾經隨著唐太宗一起起兵晉陽，受封為莒國公，位列凌煙閣二十四功臣的倒三，功在徐懋功和秦瓊秦叔寶之前。
北宋後南遷到了南方，唐伯虎一支自從南遷之後幾經動盪，家業不興逐漸衰落，人丁更不興旺。
由此，可見二人都有“不辱沒祖先”的思想，而唐伯虎的家庭背景更深厚，所以他的思想更深刻一些。而祝允明呢雖然因為外祖父官聲不好對科舉並不太熱心，但最終仍然被“不辱沒祖先”的思想束縛繼續參加科考，當了一名縣令。
唐伯虎與祝枝山加了朋友後，迅速被其“壞”。
祝枝山總是勸說唐伯虎：人生在世轉瞬即逝，白駒過隙下人的生命太過短暫和虛弱。既然人生短暫，怎麼能不好好地生活。即使你的心懷萬丈雄偉，就算你想出人頭地，但也不能把自己固定在小的天地裡，一定要多多地出去走走。因為，常把自己固定在一個小的天地裡，就會使自己眼光短淺，心胸狹窄。
很顯然，祝枝山是唐伯虎的精神老師，唐伯虎雖然在蘇州這個地區性商品畸形經濟時代，但是個人對其影響之大，當推祝允明。
然而，祝枝山在唐伯虎的父母眼中卻是位狐朋狗友。
唐廣德夫妻把一切希望都寄託到了唐伯虎身上。唐家三五代身居“民之末端”的商，而祖上則是身居“五民之首”的官，“辱沒祖先”的自責，已經縈繞在唐家後人百年時間了。唐伯虎一出生就被視作改換門庭、重歸官宦之家的希望。然而，唐伯虎比他的精神老師祝枝山走得更遠。
