1975年15歲的安·艾弗森入選了教會高中女籃，但在例行 體檢時被意外告知她懷孕了，6月7日安·艾弗森生下了阿倫·埃澤爾·艾弗森。在艾弗森出生後不久，安就帶著他回到了哈特福德見他的父親，但她發現，布魯頓暴力、毒品隨處可見的環境不利於小艾弗森的成長，3歲的小艾弗森和母親離開了布魯頓。
不久，安就結識了新男友麥克爾·弗里曼，和他一起住進了廉價的斯特沃德花園公寓。公寓位於弗吉尼亞州一座叫紐斯特的小城最東邊，但這裡的環境比哈特福德更糟糕，光天化日之下就能見到毒品交易和槍戰。雖然安四處打工維持生機，但艾佛森家裡環境還是很差，沒電、沒水、沒吃的，下水管還經常破裂，弄得滿屋髒水，兩個妹妹整天都穿著套鞋。
1978年，安得到了醫院賠償給她母親的3818美元，隨後，安和弗里曼又有了兩個女兒———1979年出生的布蘭蒂和1991年出生的莉莎（正是由於莉莎的病情，艾弗森才在1996年下定決心加盟NBA的）.。
1984年，阿倫.艾弗森的母親安拉著9歲艾弗森去籃球場練球，其實艾弗森並不喜歡籃球，但他看到橄欖球隊員都在籃球場打籃球，艾佛森也就開始喜愛籃球這個運動了。
1988年，阿倫.艾弗森的養父弗里曼在一起交通意外後被解僱了。他的確很想負擔起這個家庭，只不過他出入監獄的次數實在是太頻繁了。
1991年，弗里曼因為攜帶過量毒品被捕，被判入獄22個月，其後又因為違反假釋條例加刑23個月.。
1990年，艾佛森進入貝澤高中，成為學校的橄欖球和籃球隊的絕對核心， 但那年時常鼓勵並關心艾佛森的好朋友克拉克被他的女友謀殺。
1991年的夏天，艾佛森帶領校橄欖球隊打進美國17歲以下聯賽半決賽。
1992年，艾弗森帶領校橄欖球隊奪得了州冠軍，還當選當年的弗吉尼亞州AAA級橄欖球賽“最有價值球員“，併入選最佳陣容。隨後3天，艾弗森又站到了籃球場上，在首場高中聯賽中，他就獨得37分戰勝對手。1992-93賽季:他場均得31.6分、搶8.7個籃板還有9.2次助攻。
1993年艾弗森作為聖地高中的四分衛帶領校美式足球隊奪得了弗吉尼亞高中冠軍，同時他還帶領校籃球隊獲得同樣的榮譽。同年2月14日艾弗森和三個朋友在“環線“保齡球館與一群白人少年發生爭執，並迅速升級為50多人參與的鬥毆，有超過20人在這場激戰中身負重傷。地方法院迅速對此案作出了判決：4名黑人都被判入獄15年，艾弗森帶頭滋事被判入獄5年。1993年12月，在最高法院在全國有色人種協進會（NAACP）的幫助下，艾弗森經過不懈的努力打贏了官司，艾弗森僅入獄了4個月便獲得假釋。
1994年艾佛森從聖地高中畢業，艾佛森參加Nike訓練營獲得MVP。由於艾弗森的入獄的名聲使得他在高中畢業選擇大學時並沒有太多空間，很多名校並沒有考慮他。艾佛森的母親安妮主動找到了喬治城大學的主帥約翰·湯普森希望他能給艾佛森一個機會，約翰·湯普森答應了她讓艾佛森加入喬治城大學籃球隊。
1994年-1996年艾弗森就讀於喬治城大學。
