西晉末年，西晉統治階級內部爭權奪利，政治局勢動盪不堪，爆發了“八王之亂”。永安元年，成都王司馬穎擊敗了普惠帝軍隊，挾皇帝至鄴城。王浚與司馬騰以天子名義起兵討伐司馬穎，司馬穎被迫南奔洛陽。同年十一月，南匈奴首領劉淵在左國城（今山西離石）即漢王位，改元元熙，建立漢國。由於晉朝的腐朽及戰亂，以“復漢”為旗號的劉淵，迅速得到了大量對晉朝不滿百姓的支持，成為西晉的勁敵。羯族首領石勒，正是在這樣的背景下，乘中原戰亂之際發展壯大，成為中原地區的強大勢力。
羯族勢力的壯大，與羯族領袖石勒的活動息息相關。石勒生於上黨的羯人聚集地武鄉，其父周曷朱本為部落小率，但因性格粗暴，不受眾人所擁戴，只得使石勒代為督攝。這些跟隨匈奴入塞的羯胡，大多被漢人奴役從事農耕工作。太安年中，幷州（治所晉陽，今山西太原）饑荒，石勒與部眾失散，逃亡雁門（今山西代縣西南）依附故交甯驅。後又被東贏公司馬騰抓住，“虜群胡將詣冀州，兩胡一枷，勒亦在其中”，販賣與茌平人師懼為奴隸。師懼與牧率魏郡汲桑往來密切，石勒遂以能相馬為由自託於汲桑，而後，召集王陽、夔安、支雄、冀保、吳豫、劉膺、桃豹、逯明等八騎為群盜，郭敖、劉徵、劉寶、張噎僕、呼延莫、郭黑略、張越、孔豚、趙鹿、支屈六等十騎又來投奔，號為“十八騎”。
西晉永安元年十二月，司馬顒廢皇太弟司馬穎，遣送回藩。於此同時，司馬穎故將公師藩自稱將軍，石勒與汲桑乃率百餘騎前往投奔。汲桑命石勒以石為姓、勒為名。公師藩拜石勒為前隊督，進攻司馬模，石勒擊敗廣平太守丁紹，公師藩親自率軍隊從白馬向南，不幸戰敗被兗州刺史苟晞所殺。光熙元年十月，司馬穎及二子被司馬虓長史劉輿矯詔賜死。於是，在公師藩死後，汲桑自號大將軍，以成都王司馬穎報仇為由，拜石勒為前鋒都督，進攻鄴城（今河北臨漳縣西）。石勒大敗司馬騰將馮嵩，遂入鄴城殺司馬騰及餘部數萬人，大掠而去。汲桑乘大勝之勢，準備南擊兗州（治定陶，今山東定陶），司馬越大懼，派遣苟晞、王贊討伐之。汲桑與苟晞雙方在平原、陽平交戰數月，苟晞先破汲桑於東武陽，後又“破其八壘，死者萬人”，將汲桑、石勒起義軍徹底擊敗。汲桑與石勒收拾部眾本欲投奔劉淵，又被冀州刺史丁紹擊破於赤橋，起義軍徹底崩潰。汲桑奔馬牧，被晉軍追至平原擊殺，＠石勒奔往樂平（今山西昔陽），希望召集當地舊部，但並未與當地羯人取得聯繫。＠在懷帝永嘉元年，走投無路的石勒只得輾轉投奔了上黨的豪酋張訇督、馮莫突。
張、馮之族屬，譚其驤先生認為，後趙諸多張姓極有可能為“羌渠”本土人，即羯族。儘管有學者強調羯胡與西域胡之區別，認為“羯胡絕不可等同於西域胡”，但從語言、文化的角度來看，張訇督名中“訇”字乃羯人常用之名，如石勒小名訇勒、石虎祖名訇邪等等，說明了其文化的相似性。其次，不論張訇督族屬如何，石勒能在創業之初與其結為兄弟，並賜姓石名會，亦間接佐證了其與石勒之間的族屬認同感。如此一來，在石勒的勸誘下，張訇督、馮莫突便隨從其投奔了漢主劉淵。劉淵封“石勒為輔漢將軍、平晉王，張訇督為親漢王，馮莫突為都督部大”，以石勒作為這支羯族武裝的領袖。從此，石勒終於東山再起，又一次有了自己的政治資本。石勒收復上黨羯人後，前往樂平，延攬劉淵屢次難以招降的烏丸張伏利度部。石勒先偽獲罪於劉淵，之後故技重施，再與張伏利度結為兄弟，率領其部眾寇掠，待時機成熟後奪取了張伏利度的首領之位。據《晉書石勒載記上》所記：“勒知心之附己也，乃因會執伏利度，告諸胡曰：‘今起大事，我與伏利度孰堪為主？’諸胡鹹以推勒。勒於是釋伏利度，率其部眾歸元海。元海加勒督山東諸軍事，以伏利度眾配之”。張伏利度當族屬烏丸，但魏晉之後烏丸已是雜胡，張部屯聚之樂平，與石勒故鄉所在上黨武鄉相去不遠，正是石勒之前企圖招攬舊部之地。以此推斷，張伏利度部眾中亦有可能有一部分羯族。石勒憑藉著劉淵的名號，成功收編了張訇督、張伏利度兩部，也終於與上黨、樂平一帶羯族取得了聯繫。藉此所形成的政治勢力，在羯族今後的軍事行動中起到了重要的作用。至此，以羯族領袖身份出現的石勒，開始了羯族在中原內地的勃興。
