中國古代史籍中“胡”字出現的頻率很高，比如“胡服騎射”“五胡亂華”“殺胡令”“胡虜肉”等，其實都與那些被稱作“胡人”的民族有關。在當時來說胡人主要泛指北方和西方的遊牧漁獵民族。把北方的遊牧民族稱為“胡人”，最早始見於戰國時期的趙武靈王的胡服騎射典故， “胡服騎射以教百姓”，胡服就是胡人的服裝的意思。西漢政治家賈誼在《過秦論》中也有“胡人不敢南下而牧馬，士不敢彎弓而報怨”的句子。這裡的胡人，指的主要是匈奴，也包括那些敢和漢室作對的其他少數民族。再如東胡族，因為居住在匈奴的東邊而得名，就是匈奴東邊的胡人的意思。秦漢以後“胡人”的稱謂逐漸廣泛使用，把北方和西方的遊牧漁獵民族都囊括其中，從這些地區輸進的物產也被冠上“胡”字，像什麼“胡琴”、“胡椒”、“胡羅卜”、“胡桃”、“胡瓜”等。那麼，這個 “胡”字是什麼意思？“胡人”的稱謂是怎麼來的？
一種觀點認為，“胡”作野蠻、落後之意，是漢人對北方遊牧民族的蔑稱。自先秦以來，中原漢族地區的農耕文明總是領先於北方遊牧民族，漢人有一種優越感，瞧不起周邊的少數民族，如江統在《徙戎論》中說“非我族類，其心必異，戎狄志態，不與華同”（《晉書》）;加之北方遊牧民族頻頻襲擾中原地區，讓中原王朝窮於應付，讓漢人覺得這些遊牧民族簡直是“胡作非為”“胡來”“胡攪蠻纏”，久而久之便十分討厭反感這些胡來的人，並稱其為“胡人”。
另一種說法認為是北方民族的自稱。依據是《漢書·匈奴傳》——單于遣使遺漢書雲：“南有大漢，北有強胡。胡者，天之驕子也，不為小禮以自煩。”在這裡，匈奴把自己稱為“胡”，並自比為天子。另一依據是十六國時期羌族首領姚萇舉兵反前秦，最後俘獲前秦皇帝苻堅，姚萇向苻堅索要傳國玉璽，苻堅怒斥姚萇，曰“小羌敢逼天子，五胡次序，無汝羌名”（《資治通鑑》）。苻堅是氐人，他亦自稱“胡”。中原漢人極有可能是根據北方民族的自稱而稱其為“胡”的，只不過後來“胡”的稱謂逐漸擴大了使用範圍，演變成對北方和西方民族的泛稱。
還有一種觀點，認為“胡”作鬍子之意，“胡人”就是長大鬍子的人。漢人喜歡以貌取人，或許是看那些遊牧民族都長著長鬍子，所以乾脆叫他們“胡人”吧。那麼，問題是歷史上的遊牧民族真的都長看大鬍子嗎？秦漢時期的匈奴人長什麼樣子，史書沒有描述，不過現存的漢朝驃騎將軍霍去病墓前的“馬踏匈奴”石像，那個被馬踩在腳下的匈奴武士卻是個大鬍子。
五胡亂華時期的羯人，就具有深目、高鼻、多須的特點。關於羯人，《魏書》卷九五《羯胡石勒傳》雲：“其先匈奴別部，分散居於上黨、武鄉、羯室，因號羯胡”。現經考證，認為羯人是中亞康居人，屬於白種人，與匈奴不是一個民族，而是被匈奴作為戰俘帶入中原地區的。其次，即使不是長著絡腮鬍子，北方和西方的民族男子還有蓄鬍的習慣，鬍子拉碴的給人印象就是個大鬍子，稱為“胡人”也就可以理解了。
