公元前60年左右，匈奴虚闾权渠单于死，引起内部分裂，先后出现五单于争立的情况，混战不断，最后发展为呼韩邪单于和郅支单于的相互攻伐。
五凤四年（前53年）夏，呼韩邪单于被其兄郅支单于击败，引众南近塞，遣子入汉为质，对汉称臣，欲借汉朝之力保全自己 。
甘露三年（前51年）正月，南匈奴首领呼韩邪入朝朝觐宣帝于甘泉宫（今陕西淳化西北）。
建昭三年（前36年），西汉与北匈奴的战争中，汉西域都护骑都尉甘延寿、副校尉陈汤击灭郅支单于于康居。
数年后，鉴于郅支单于被西汉远征军诛灭（汉朝是真的强啊）。内患已消，力量渐强，南匈奴乃率部重归漠北。
东汉初年，建武二十四年(48)，匈奴内部为争王位发生动乱，匈奴贵族相互残杀。匈奴再次分裂成南北二部，南部匈奴人立日逐王比为醢落尸逐鞮单于，建庭五原塞（今内蒙古包头），依附东汉称臣，被汉光武帝安置在河套地区。
次年，迁庭于美稷县（今内蒙古准格尔旗西北），即“南庭”。汉朝置使匈奴中郎将率兵保护其安全。
东汉中晚期，外戚宦官干政，造成内部政局不隐，难以驾驭控制，遂南匈奴多次反叛与鲜卑联兵袭掠边塞杀官吏。期间几位南单于被部属所杀。
中平四年十二月，休屠各(休屠，意为大地女神)与南匈奴贵族担心汉朝征发匈奴军队的事不会停止，反叛单于侵边，并州大乱。定襄、云中、五原、朔方、上郡一并流徙分散。中平五年正月，休屠各寇西河，攻杀西河郡守邢纪。
中平五年三月(188年4月前后)，休屠各攻杀并州刺史张懿。遂与南匈奴左部胡合，号称有十万人，杀其单于羌渠。(另一处记载却是，南匈奴右部醯落与休著各等攻杀单于羌渠。)
东汉中平年间，刘豹的祖父羌渠单于派其子于扶罗（刘豹的父亲）率兵援助东汉，讨平黄巾军。当时正碰上羌渠单于遭国人杀害，因此于扶罗将所率领的兵众留驻在东汉，自称单于。紧接着董卓叛乱，于扶罗率兵劫掠太原、河东，后驻扎河内。
公元195年，诸侯割据。南匈奴参与了中原封建军阀的混战，沿黄河而下。此时，南匈奴已经占据黄河流域诸多郡县。
于扶罗死后，于扶罗的弟弟、刘豹的叔父呼厨泉继任单于之位，任命刘豹为左贤王。
公元202年，南匈奴首领归附曹操。曹操为了北方的稳定，先后将南匈奴分为五部每部择立贵族为帅，另选汉人为司马对其进行监督。同时，曹操还把并州的匈奴人编入汉族。这样，南匈奴上下完全编入曹魏政权，中国北方完成了实际的统一。
公元216年，曹操拘留南匈奴末代单于呼厨泉单于，派右贤王去卑监国，将南匈奴分成五部，即左、右、南、北、中，分别安置在陕西、山西、河北一带。
咸熙年间，刘渊作为人质住在洛阳，受到当时曹魏权臣司马昭厚待。泰始年间以后，王浑多次在晋武帝司马炎面前推荐他，于是晋武帝召见刘渊，与他交谈，非常赏识。
晋武帝对王济说：“刘渊的容颜、仪表，即使是春秋的由余、汉代的金日磾不能高出他。”王济接着说：“刘渊的外在仪表、容颜，实在如陛下您所说。然而，他的文武才干又超出由余、金日磾很远。陛下您若能委任他统领东南地区的事务，那么，吴会地区就不愁不能平定。”晋武帝欣然赞许。但是孔恂、杨珧进言说：“依臣观察，刘渊的才干现在恐怕没有人能与他相比。陛下若是不重用他，便成不了大气候。若是授予他权力，树立他威望，那么，平定吴地之后，恐怕他就不再向北渡江回师了。刘渊与我们不是一个民族，必然会有异心。
现在，委任他治理本部的事务，我们已为陛下您感到担心，若是还要将天然险阻之地赐给他，恐怕是不行的。”晋武帝默然不语。
泰始六年（270年）与咸宁四年（278年），秃发鲜卑部首领秃发树机能两次击败斩杀秦州刺史胡烈和凉州刺史杨欣，于是西晋发兵秦、凉二州，准备平定叛乱，但晋军初战溃败，所以晋武帝访求将帅们收复失地的办法，上党人李憙说：“陛下您若是真的能够征发匈奴五部的兵众，授予刘渊一个将帅的封号，让他们向西部进军，那么，西部的秦州、凉州便指日可定。”孔恂说：“李公的话，不完全符合消除祸患的情理。”李憙勃然大怒道：“凭匈奴人的强悍，刘渊的熟悉兵法，让他们奉命去显示皇上的圣武，有什么不能得到！”孔恂接着说：“刘渊若是能够平定凉州，斩杀树机能，恐怕凉州境内又要乱了。蛟龙得到云雨，就不再是池塘中无法施展能耐的小东西了。”晋武帝于是放弃任用刘渊的打算。
后来，王弥从洛阳东回故乡东莱，刘渊在九曲河滨为王弥饯行，流着泪对王弥说：“王浑、李憙因为同乡的缘故而对我有所了解，他们常常称道、推荐我，可是一些人也乘机向皇上大进谗言，这些都不是我所希望的，相反，刚好足以对我构成危害。我本来并没有做官的想法，这一点只有您知道。恐怕我会死在洛阳，永远与您诀别了。”因此情绪激昂，尽情地喝酒，大声地慨叹、呼叫，声音嘹亮，在坐的人禁不住因此而流泪。
齐王司马攸当时正在九曲，听说此事便派人快马去察看，看见刘渊在那里，于是对晋武帝说：“陛下您如果不除掉刘渊，恐怕并州就不能够长久地安定。”王浑又进言道：“刘渊是长者，我王浑替君王担保讲明此事。况且大晋正要向少数民族表明用诚信相待，用德政使远方的人归附，怎么能够凭连萌芽状态都没有的嫌疑杀戮别人送来伺候的人质，以表明晋朝恩德不广呢？”晋武帝同意王浑所言，最终没有杀刘渊。
咸宁五年（279年），刘豹去世，西晋朝廷任命刘豹之子刘渊为代理左部帅。
太康十年（289年），晋武帝任命刘渊为北部都尉。刘渊在任期间，严明刑法，禁止各种奸邪恶行，他不看重财物，爱好施舍，与他人相交，推诚相见。于是匈奴五部的豪杰都纷纷投奔到他的门下，就连幽州、冀州知名的儒生，后学中杰出的人士，都不远千里来此游历。
永熙元年（290年），晋惠帝司马衷继位，由外戚杨骏辅佐朝政，杨骏便任命刘渊为建威将军、五部大都督，封爵为汉光乡侯。
元康末年（300年），刘渊因为部人叛逃出塞而被免官。不久成都王司马颖镇守邺城，上表推荐刘渊担任宁朔将军、监五部军事。
晋惠帝时，因八王之乱战火再起，赵王司马伦、齐王司马冏及长沙王司马乂先后以军事力量上台掌权，司马伦更曾篡位称帝，当时天下大乱，盗贼蜂起。
刘渊的堂祖父，原来的北部都尉、左贤王刘宣等人秘密商议说：“以往，我们的先人与汉朝约为兄弟，忧和喜共同享有。汉朝灭亡以来，魏、晋继而兴起，我们单于，虽然有一个空虚的名号，可是不再拥有哪怕一尺土地的基业，从王侯慢慢下降到同平民差不多。现在司马氏亲骨肉间相互残杀，天下一片动荡，我们建立国家、复兴祖业的时机到了。左贤王刘渊的姿貌、风仪和才能超人绝世，上天倘若不是要光大单于，不就虚生这种伟人了吗？”于是秘密地共同推举刘渊为大单于，并且派他们的党羽呼延攸到邺城，将秘谋的内容告诉刘渊。
刘渊请求回故地会合行送葬之礼，司马颖没有答应。于是刘渊让呼延攸先回去，告诉刘宣等人招集五部人众，会同宜阳的诸多胡人，表面上宣称响应司马颖，实际上却是要图谋叛变。
永安元年（304年），司马颖击败司马乂，成为皇太弟，任命刘渊为屯骑校尉。不久，东海王司马越和陈昣等与晋惠帝征讨司马颖，驻扎在荡阴。
司马颖任命刘渊为代理辅国将军，负责北城防守诸事务。等到晋惠帝六军战败时，司马颖任命刘渊为冠军将军，封为卢奴伯。
不久，并州刺史东赢公司马腾、安北将军王浚，起兵讨伐司马颖。刘渊劝司马颖说：“现在二镇的人骄横强暴，兵众十万，恐怕不是宿卫军以及都城附近的兵士所能抵抗得了的，我请求回去为殿下您劝说五部的人马来赴国难。”司马颖说：“五部的人马可以担保前来吗？即使能够前来参战，鲜卑、乌丸之人强劲、快捷如同风云，是那么容易抵挡的吗？我想护送皇上回洛阳，以避开他们的锋芒，接着再慢慢地告示天下，以叛乱的名义，名正言顺地制服他们。您认为怎样？”刘渊回答说：“殿下是武帝之子，对王室有突出的功劳，有威望、恩泽广，天下人都钦佩您的风范，谁不想为殿下您赴汤蹈火、献出生命呢？这种情况下，征发士兵有什么困难呢？王浚是个小人，东嬴公只是个偏远的旁枝，他们哪能与殿下您抗衡！殿下您如果一离开邺宫，就等于向他人示弱，这样，洛阳到达得了吗？纵然到达洛阳，恐怕威望、权力就不在殿下您的手里。一纸檄文，一尺书信，有谁肯去为他人尊奉这些！况且东胡的强悍不能超过五部之人，希望殿下您鼓励、安抚兵众，平定混乱，镇守住邺城，我当为殿下您以二部的兵力摧毁东嬴公，以三部的兵力斩杀王浚，两个小人的首级指日就可悬挂在邺城城头。”
司马颖非常高兴，于是任命刘渊为北部单于、参丞相军事。刘渊回到左国城（今山西离石）后，刘宣等人便为刘渊上大单于的称号，二十日之间就聚众五万，定都离石。
及后，王浚派将军祁弘率领鲜卑兵众进攻邺城，司马颖战败。
于是，挟持天子向南朝洛阳奔逃。刘渊说：“司马颖不听我的话，自己向相反的方向溃逃，真是蠢才。然而，我与他有言在先，不能不去救他。”
于是，命令右于陆王刘景、左独鹿王刘延年等人率领步兵骑兵二万，将去讨伐鲜卑。
刘宣等人坚决劝阻道：“晋朝昏庸无道，他们像对奴隶一样对待我们，所以右贤王刘猛非常愤怒，承受不了心中怨恨，想有所作为，当时正碰上晋朝纲纪还未松弛，大事还没有成就，右贤王就被杀戮，这是单于的耻辱。现在，司马氏父子兄弟互相残杀，这是上天厌恶晋朝的德行，将天下授予我们。单于积德在身，连晋人都佩服，现在，正应该振兴我们国家和民族，恢复呼韩邪的基业，这样，鲜卑、乌丸可以作为我们的援助力量，怎么可以阻挡他们而去拯救仇敌呢！现在，上天借我们的手来消灭晋朝，不能够违背天意。违背天意就不祥，违背众人的意愿就不能成就事业。上天赐予了而不接受，反过来就会受到上天的责备。希望单于不要迟疑了。”
刘渊听后说道：“说得对。应该做高山峻岭，怎么能甘心做低矮的小土丘呢！天下的帝王也不是固定不变的，大禹出自东戎，周文王出生在西夷，谁该做帝王，只是按德行的高低授予。现在，我们有兵众十多万，如果我们击鼓进军、摧垮晋朝，必将如同摧枯拉朽。这样，最理想的，可以成就汉高祖一样的基业，最差的也不失做一个魏氏。虽然结果将是这样，但是晋朝的百姓不一定赞同我们。汉朝统治天下的时间久长，恩泽深入人心。所以，昭烈帝刘备仅在一州的土地上奔驰，就可以与天下相抗衡。我又是汉朝刘氏的外甥，我们的祖先曾与汉朝相约为兄弟，兄长灭亡了，弟弟来继承，不也是应该的吗？况且，我们还可以称汉，追认并尊奉后主刘禅，以此来使天下人的期望归向我们。”于是，迁都到左国城。
元熙元年（304年），刘渊在南郊筑坛设祭，自称汉王，赦免境内囚犯，建年号为元熙，追尊刘禅为孝怀皇帝，建造汉高祖以下三祖五宗的神位进行祭祀，立妻呼延氏为王后。署置百官，任命刘宣为丞相，以崔游为御史大夫，宗室刘宏为太尉，其余的人授官各有等差，国号为汉（史称汉赵、前赵）。
东嬴公、并州刺史司马腾闻讯，派将军聂玄讨伐刘渊，战于大陵（今山西文水），聂玄军大败，司马腾害怕，于是率领并州二万多户百姓逃到山东，到处侵犯、骚扰。刘渊乘胜进军，派遣建武将军刘曜接连攻下太原、泫氏、屯留、长子、中都。
元熙二年（305年），司马腾又派司马瑜、周良、石鲜等人率军讨伐刘渊，他们驻扎在离石的汾城。刘渊派遣武牙将军刘钦等六军迎战司马瑜等人。四次交战，司马瑜都被击败，于是，刘钦整顿军队，凯旋回师。
同年，离石发生大饥荒，刘渊迁居黎亭，以便食用邸阁屯积的粮食。刘渊留太尉刘宏、护军马景守离石，派大司农卜豫运送粮食供给他们。接着，任命前将军刘景为使持节、征讨大都督、大将军，在版桥截击刘琨，被刘琨击败，于是，刘琨进据晋阳。
侍中刘殷、王育规劝刘渊道：“殿下您从起兵至今已一年，然而，只据守在偏远的地方，威望还未远震，如果真的能够命令将士四出攻击，抓住机会，大胆地决战，斩杀刘琨，平定河东，建立皇帝的名号，向南大举进军，攻克长安，并将它作为国都，再率领关中的兵众席卷洛阳，就像转动指掌一样容易。这也是汉高祖之所以能开创宏基、消灭强楚的策略。”刘渊高兴地说道：“这就是我之所想。”于是进据河东，攻占蒲阪（今山西永县）、平阳（今山西临汾）。
接着，刘渊进入蒲子，并将它作为都城，河东、平阳属县的各垒壁都投降于他。当时，汲桑在赵魏起兵，上郡四部鲜卑陆逐延、氐族酋长单征、东莱人王弥以及石勒等人都相继投降刘渊，刘渊都授予他们官爵。
永嘉二年（308年），刘渊正式称帝，大赦境内囚犯，改年号为永凤。任命大将军刘和为大司马，封梁王，尚书令刘欢乐为大司徒，封陈留王，御史大夫呼延翼为大司空，封雁门郡公，宗室中以亲疏为等级，皆封郡县王，异姓中以功劳、谋略为等级，皆封郡县公侯。
太史令宣于修之对刘渊进言道：“陛下您虽然如龙腾起，如凤翱翔，接受大任。然而，晋朝余部尚未消灭，皇族居室窄陋，紫宫星座的变化，还指向晋氏，不出三年，必定能够攻克洛阳。蒲子地域崎岖狭小，不可长久安身。平阳有天子之气，又兼是陶唐的旧都，希望陛下您上合天象之变，下合地理之祥。”于是迁都平阳。
有人从汾水中得到玉玺，上面的文字是“有新保之”，大概是王莽时的玉玺，得到的人顺便增加了“渊海光”三字，刘渊认为是自己的好征兆，于是大赦境内囚犯，改年号为河瑞。又封他的儿子刘裕为齐王，刘隆为鲁王
不久，刘渊命其子刘聪和王弥进攻洛阳，刘曜和赵固等人作为后继。西晋东海王司马越派平北将军曹武、将军宋抽、彭默等人迎战，晋军大败。
刘聪等率军迅速到达宜阳。平昌公司马模派将军淳于定、吕毅等率军从长安讨伐刘聪军，在宜阳决战，淳于定等大败。刘聪依仗连续的胜利，没有设防，弘农太守垣延假称投降，乘夜偷袭，刘聪军大败而回，刘渊穿着白衣服前来迎接。
同年冬，再次征发士卒，派遣刘聪、王弥与刘曜、刘景等人率领精锐骑兵五万去进攻洛阳，派呼延翼率步兵接应，结果，在黄河南面将晋军击败。
刘聪进军，驻扎在洛阳西明门，西晋护军贾胤乘夜接近他们，在大夏门大战，斩杀刘聪的将领呼延颢，呼延颢军溃败。
刘聪向南撤退，在洛水构筑壁垒，不久，又进驻宣阳门，刘曜驻扎在上东门，王弥驻扎在广阳门，刘景攻击大夏门，刘聪亲自到中岳嵩山求神，命令将领刘厉、呼延朗等负责指挥留守的士兵。东海王司马越命令参军孙询、将军丘光、楼裒等人率领手下勇士三千，从宣阳门攻击并斩杀呼延朗。
刘聪得到消息后快马赶回，刘厉因害怕刘聪给自己治罪，于是投水而死。王弥劝刘聪说：“现在既然失利，而洛阳又非常牢固，殿下您不如回师，以后再慢慢地图谋。我当在兖州、豫州之间招募兵士，收聚粮食，以等待进攻的日期。”宣于修之又劝刘渊说：“辛未那一年，当攻下洛阳。现在晋朝的紫气还很盛，大军不回，必定失败。”刘渊派黄门郎傅询快马召刘聪等回师。王弥从轘辕撤出，司马越派薄盛等人率兵追击，双方在新汲大战，王弥军大败。于是整顿蒲阪的防守，回到平阳。
刘渊任命刘欢乐为太傅，刘聪为大司徒，刘延年为大司空，刘洋为大司马，赦免境内囚犯。又立妻子单氏为皇后，儿子刘和为皇太子、刘乂为北海王。
永嘉四年（310年）七月，刘渊卧病，准备嘱托后事，任命刘欢乐为太宰，刘洋为太傅，刘延年为太保，刘聪为大司马、大单于，并且统领尚书事务，在平阳西部建造单于台，任命其子刘裕为大司徒。
刘渊病重，召刘欢乐和刘洋等人到宫禁中接受遗诏，辅佐朝政。八月，刘渊在光极殿去世，共在位六年。刘渊死后，其子刘和继位。
刘和继位后，卫尉、西昌王刘锐，宗正呼延攸怨恨未能参与刘渊临终顾命，游说刘和说：“先帝没有考虑轻重之计，而让三王统领精锐的宫廷禁军，大司马刘聪又在近郊掌握着十万劲旅，陛下现在就等于是寄于客位了。这样的祸难，不可测知，希望陛下早作打算。”刘和是呼延攸的外甥，所以对他的话深信不疑。召来领军、安昌王刘盛、安邑王刘钦、马景等人通告他们。
刘盛说：“先帝的棺椁还没有安葬，四王也没有变节，一旦自相残杀，天下会怎么说陛下？再说大业还没有成功，陛下不要听信挑拨离间的小人的谗言来疑忌兄弟，兄弟尚且都不能相信，那别人谁还值得相信呢？”刘锐和呼延攸发怒道：“今天商议，没有别的道理可讲，领军你这是什么话！”便命令左右随从把刘盛杀死。
马景、刘钦害怕，只得听从刘和的旨意一起在东堂结盟，准备攻打四王。于是，刘锐带领马景在单于台攻打楚王刘聪，呼延攸带领永安王刘安国到司徒府攻打齐王刘裕，侍中刘乘带领安邑王刘钦攻打鲁王刘隆，派尚书田密、武卫将军刘璿攻打北海王刘乂。田密、刘璿等派人斩杀守关的卫兵投奔到刘聪处，刘聪命令穿上铠甲等候刘锐大军。
刘锐得知刘聪已有防备，迅速回师，与呼延攸、刘乘一起攻打刘隆、刘裕。呼延攸和刘乘怀疑刘安国、刘钦有异心，便杀了他们。当天杀死刘裕和刘隆。刘聪攻打西明门，将其攻克。刘锐等人逃进南宫，前锋跟随着他。刘聪在光极殿西室斩杀刘和。抓住刘锐、呼延攸、刘乘，在交通要道上斩首并悬挂起来。
刘和死后，群臣请刘聪继位，刘聪以北海王刘乂是单皇后之子，让位给他。刘乂坚持由刘聪继位。刘聪最终答应，并说要在刘乂长大后将皇位让给他。
登基后，册立刘乂为皇太弟，改元光兴，尊刘渊妻单氏为皇太后，其母张氏为帝太后，妻子呼延氏为皇后，儿子刘粲为抚军大将军，都督中外诸军事。
刘聪即位后三个月，即派刘曜、王弥和其子河内王刘粲领兵进攻洛阳，与石勒于大阳会师并在渑池击败晋将裴邈，乃直入洛川，掳掠梁、陈、汝南、颍川之间大片土地，并攻陷百多个壁垒。
次年，又派前军大将军呼延晏领二万七千人进攻洛阳，行军至河南时就已十二度击败抵抗的晋军，杀三万多人。
后刘曜、王弥和石勒都奉命与呼延晏会合。呼延晏在刘曜等人未到时就先行进攻洛阳城，攻陷平昌门，焚烧东阳、宣阳诸门及诸府寺。
怀帝遣河南尹刘默抵御，但被击败。呼延晏因为后续部队还没到，从东阳门撤出，又于洛水焚毁晋怀帝打算出逃用的船只。
刘曜、王弥等人到达后就与呼延晏一起再次攻进洛阳城，攻陷宣阳门，王弥、呼延晏攻入南宫太极殿，纵兵抢掠，尽收晋宫中的宫人和珍宝，而刘曜大杀官员和宗室三万余人。
另外更俘掳晋怀帝和羊皇后，将他们及传国六玺移送到平阳。 刘聪大赦，改年号嘉平，以晋怀帝为特进、左光禄大夫、平阿公。
永嘉之乱后，刘聪又因晋牙门赵染叛晋归降而命刘曜和刘粲攻打关中，最终攻陷长安并杀南阳王司马模， 并让刘曜据守长安。不久，晋冯翊太守索綝、安定太守贾疋和雍州刺史曲特等反击，刘曜兵败，困于长安。嘉平二年（永嘉六年，312年），退出长安，撤回平阳。
晋怀帝被掳至平阳后，被刘聪任命为特进、左光禄大夫、平阿公。后来改封会稽郡公。刘聪曾与怀帝回忆昔日与王济造访他的往事，亦谈到西晋八王之乱，宗室相残之事。刘聪谈得十分高兴，更赐小刘贵人给怀帝。
嘉平二年（312年）年初，刘聪曾派靳冲和卜翊围困晋并州治所晋阳，但因拓跋猗卢率兵营救而失败。不久，令狐泥因其父令狐盛被晋并州刺史刘琨杀害而投奔汉赵，并说出晋阳虚实。
但于嘉平三年（313年）正月，刘聪在与群臣的宴会中命怀帝以青衣行酒，晋朝旧臣庾珉和王俊见此忍不住心中悲愤而号哭，令刘聪十分厌恶。当时又有人流传庾珉等会作刘琨的内应以助他攻取平阳，于是杀害怀帝和庾珉等十多名晋朝旧臣。
晋怀帝被杀的消息于四月传至长安后，在长安的皇太子司马邺便即位为帝，是为晋愍帝。刘聪则派赵染与刘曜和司隶校尉乔智明等进攻长安，多次击败抵抗的曲允。赵染后更乘夜攻进长安外城纵火抢掠，至天亮才因救援长安而撤出长安，但曲鉴追击时又遭刘曜击败。后因刘曜轻敌而被曲允偷袭，乔智明被杀，刘曜唯有撤兵回平阳。
次年，再派刘曜与赵染出兵长安，索綝领兵抵抗，但赵染初战于新丰城西因轻敌而败北。不久二人与将军殷凯再攻长安，在冯翊击败曲允，但当晚又被曲允夜袭殷凯军营，殷凯战死。
随后，刘曜到怀县转攻晋河内太守郭默，但郭默固守不降。在新郑的李矩此时还到刘琨所派的鲜卑骑兵，说服带领他们的张肇进攻刘曜。汉赵士兵看见鲜卑骑兵不战而走，刘聪见进攻不成，打算先消灭刘琨，故命令刘曜撤军。
建元元年（晋建兴三年，315年），刘曜在襄垣击败刘琨所派军队，并打算进攻阳曲。但此时刘聪又认为要先攻取长安，于是命刘曜撤军回蒲阪。
刘聪命刘曜撤回蒲阪，数月之后，即派刘曜进攻北地。刘曜先破冯翊，后攻上郡。曲允领兵在灵武抵抗，但因兵少而不敢进攻。
建元二年（316年），刘曜攻取北地，后即进逼长安。虽然有多批援兵救援长安，但都因畏惧汉赵军队而不敢进击。而司马保所派将领胡嵩虽然在灵台击败刘曜，但却因不愿见击退刘曜后曲允和索綝势力变得强大，竟然勒兵退还槐里。
刘曜因而得以攻占长安外城并围困愍帝所在小城。在爆发饥荒的小城内死守两个月后，愍帝决定出降，被送至平阳。西晋正式灭亡。
刘聪任命愍帝为光禄大夫、怀安侯，使刘粲告于太庙，大赦境内，改年麟嘉。次年出猎时，命锦愍帝穿戎服执戟作前导，晋朝故老哭泣。刘粲劝刘聪杀死愍帝，但刘聪想再作观望。及后，命愍帝行酒、洗爵和执盖等仆役工作，令晋朝旧臣流泪哭泣，辛宾更抱着愍帝大哭。刘聪最终杀害晋愍帝。
嘉平三年（314年）十一月，册立刘粲为相国、大单于，总管各事务后，就将国事委托给他。自己则开始贪图享乐，次年更设上皇后、左皇后和右皇后以封妃嫔，造成“三后并立”。后来，更立中皇后。
在委托政务给刘粲的同时，刘聪亦宠信中常侍王沈、宣怀、俞容等人，刘聪因于后宫享乐而长时间不去朝会，群臣有事都会向王沈等人报告而不是上表送呈刘聪。而王沈亦大多不报告刘聪，只以自己喜恶去议决事项。王沈等人又贬抑朝中贤良，任命奸佞小人任官。
嘉平三年（316年）二月刘聪听信王沈等人的谗言，杀特进綦毋达、太中大夫公师彧、尚书王琰等七名宦官厌恶的官员。侍中卜干哭着劝谏，免为庶人。
太宰刘易、御史大夫陈元达、金紫光禄大夫刘延和刘聪子大将军刘敷都曾上表劝谏刘聪不要宠信宦官。
刘易见此又上表进谏，终令刘聪发怒，更亲手毁坏刘易的谏书，刘易于是怨愤而死；陈元达见刘易之死，亦对刘聪失望，愤而自杀。
朝廷在王沈和刘粲等人把持之下纲纪全无，而且贪污盛行，臣下只会奉承上级；对后宫妃嫔宫人的赏赐丰盛，反而在外军队却资源不足。刘敷见此就曾多次劝谏，刘聪却责骂刘敷常常在他面前哭谏，令刘敷忧愤得病，不久逝世。
因为刘聪的完全信任，王沈和刘粲等人又与靳准联手诬称皇太弟刘乂叛变，不但废掉并杀害刘乂，更趁机诛除一些自己讨厌的官员，又坑杀平阳城中一万五千多名士兵。刘粲在刘乂死后被立为皇太子。
麟嘉三年（318年），刘聪患病，以太宰刘景、大司马刘骥、太师刘顗、太傅朱纪和太保呼延晏并录尚书事，又命范隆为守尚书令、仪同三司，靳准为大司空，二人皆决尚书奏事，以作辅政大臣。
太兴元年（318年）七月十九日，刘聪去世。七月二十日，刘粲即位，尊刘聪的皇后靳氏为皇太后，樊氏称弘道皇后，武氏称弘德皇后，王氏称弘孝皇后；立妻子靳氏为皇后，儿子刘元公为太子。大赦天下，改年号为汉昌。
将刘聪安葬于宣光陵，谥刘聪为昭武皇帝，庙号烈宗。靳太后等人因年龄都不到二十岁，而且长得很漂亮，刘粲在宫内日夜与她们淫乱（奇葩），对于父亲刘聪的去世没有一点的悲哀。
大司空、司隶校尉靳准怀有异志，私下对刘粲说：“好像听说诸位公卿准备像商代伊尹、汉代霍光那样代摄朝政，杀掉太保呼延晏和我，让济南王、大司马刘骥统领万机，陛下应当早作准备。”
刘粲不听。靳准怕他的话最终不被采纳，就对皇太后靳氏和皇后靳氏二人说，公卿们想要废掉刘粲，拥立刘骥为帝，恐怕我们靳氏家族要绝种。让靳氏二人劝说刘粲诛杀他们。
刘粲于是收捕太宰、上洛王刘景，太师、昌国公刘顗，大司马、济南王刘骥，大司徒、齐王刘劢，将他们全部处死。太傅朱纪、太尉范隆逃奔长安。
太兴元年（318年）八月，刘粲在上林练兵，准备征讨石勒。任命丞相刘曜为相国，总督内外军事事宜，仍然镇守长安。任命靳准为大将军，领尚书事。刘粲沉湎酒色，经常在后宫游乐，军国大事全都由靳准决断。靳准假称刘粲的诏令，让堂弟靳明担任车骑将军，靳康担任卫将军。
不久，靳准将要发动叛乱，因金紫光禄大夫王延（《晋书》作王延年）年龄大而德高望重，便与他商议。 王延不肯依从，驰马准备向刘粲告发靳准的阴谋，路上遇见靳康，被劫持回来。
靳准便领兵登上光极殿，派士兵抓住刘粲，数落刘粲的罪名后将他杀害，并给刘粲上谥号为隐皇帝。 靳准将刘氏皇族男女老幼全部斩杀于东市。
又挖掘刘渊和刘聪的陵墓，斩断刘聪尸身，焚毁刘氏宗庙。 太兴二年（319年），靳准被其部下所杀。
319年，刘曜（刘渊从子）称帝，追尊刘渊等历代祖先为帝。迁都长安，修建光世殿和紫光殿。
立妻羊氏为皇后，儿子刘熙为皇太子，其余诸子与宗室都封王。修缮宗庙、社稷、南北郊。以水德承接晋的金德，改国号为赵。崇尚黑色，冒顿配天，刘渊配上帝，大赦境内除了犯有重罪之人。
当时，关中、陇右一带有很多氐、羌等少数族人未予归化，常同西晋残余联合进攻刘曜，给刘曜政权造成严重威胁。
大兴三年（ 320年），刘曜部下长水校尉尹车，连结巴氐酋长徐库彭反叛，刘曜先杀尹车，又囚徐库彭等5000人，准备全部杀死。光禄大夫游子远叩头固谏请求放免，刘曜不听，硬是将其全部斩首。
这一举动，引起了巴、氐人民的强烈义愤，奋起反抗，共推巴、氐归善王句渠知为领袖，举行起义。一时，羌、氐、巴、羯三万余人，尽皆响应，关中大乱，局势非常紧张。
刘曜只得采用游子远的安抚政策，以游子远为车骑大将军，都督雍秦征讨诸军事。游子远屯军于雍城，降者十余万，遂进军安定，反者皆降。
只有句渠知宗党五千余家于阴密固守，游子远发动攻击，歼灭了句氏宗族；随后引兵陇右，陈安在郊外迎接游子远。
此前，在上郡的氐、羌十余万人，占据险要地势不肯投降，他们的首领虚除权渠自号为秦王。游子远于是进兵至虚除权渠的堡垒下，权渠率军迎战，五战皆败。权渠欲降，其子伊余反对，并率五万精兵在清晨进攻游子远军营。
游子远的将领请缨出战，游子远认为伊余军队士气正盛，应避之锋芒。于是坚守不出。而伊余骄傲自大，军营不设防备。游子远趁夜偷袭，大败伊余。权渠知道后大惧，以羌族风俗披发割面而降。
最后游子远基本上平定了这次叛乱，拜虚除权渠为征西将军、西戎公，分徙伊余兄弟及其部落二十余万于长安。在西边的氐、羌等少数民族中，虚除权渠实力最强，至是莫不归附，西边遂平。
刘曜亲征氐羌，杨难敌迎战不胜，退保仇池。仇池诸氐、羌等皆归降刘曜。刘曜后复西讨杨韬于南安，杨韬惧，与陇西太守梁勋等降于刘曜，皆封列侯。 刘曜使侍中乔豫率甲士五千，迁徙杨韬等及陇右万余户于长安。
刘曜继续进攻仇池。当时刘曜患病， 军中又有瘟疫，刘曜想班师，但又担心杨难敌跟踪追击，于是刘曜以其尚书郎王犷为光国中郎将，出使仇池， 劝说杨难敌，杨难敌于是遣使称籓。
刘曜大悦，署杨难敌为使持节、侍中、假黄钺、都督益宁南秦凉梁巴六州陇上西域诸军事、上大将军、益宁南秦三州牧、领护南氐校尉、 宁羌中郎将、武都王，子弟为公侯列将二千石者十五人。
当初陈安请求朝见刘曜，刘曜因为患病没有允许。陈安怒，又以为刘曜已经死了，于是大掠而归。
太宁元年，陈安攻刘曜的征西将军刘贡于南安，休屠王石武自桑城将攻上邽，以解南安之围。陈安闻之惊惧，驰归上邽，与石武在瓜田相遇。石武以众寡不敌，奔保张春故垒。
陈安引军追击石武，石武闭垒固守。刘贡击败陈安后军，俘斩万余。陈安驰还赴救，刘贡击败陈安。此时石武骑兵大举进攻，陈安军大溃，陈安收拢八千骑兵，奔向陇城。刘贡留下石武督后军，身先士卒，又击败陈安，于是包围陈安于陇城。
刘曜亲征陈安，围陈安于陇城。陈安频出挑战，累击败之，斩获八千余级。右军刘干攻平襄，克之，陇上诸县悉降。陈安留下杨伯支、姜冲儿等守陇城，帅骑兵数百突围而出，打算引导上邽、平襄的兵众来解陇城之围。
陈安出城后，得知上邽被围，平襄已败，于是南走陕中。刘曜派其将军平先、丘中伯率劲骑追击陈安，多次交战击败陈安，俘斩四百余级。陈安与壮士十余骑于陕中格战，陈安左手奋七尺大刀， 右手执丈八蛇矛，近交则刀矛俱发，杀伤五、六人；远则双带鞬服，左右驰射而走。平先亦壮健绝人，勇捷如飞，与陈安搏战，三个回合，平先夺取了陈安的蛇矛而退。
天黑了，又下大雨，陈安弃马，与左右五、六人步行跨过山岭，藏匿于溪涧。翌日赵军寻之，找不到陈安的踪迹。此时大雨渐渐停息，辅威将军呼延清发现了陈安的踪迹，在涧曲斩杀陈安。
接着，刘曜开始大举用兵凉州张氏政权，张氏政权的奠基者是安定乌氏（今甘肃平凉西北）人张轨，张轨是西汉常山王张耳第十七代孙，世以儒学著称。
西晋永宁年间，任凉州刺史、护羌校尉。洛阳陷落后，晋愍帝都长安封张轨为凉州牧；张轨死后，由张寔、张茂继立。
刘曜出兵凉州时，张茂正为凉州刺史。刘曜大军长驱进入西河，戎卒二十万五千，临河到营，百余里中，钟鼓之声，沸河动地，“自古军旅之盛，未有斯比。”凉州为之震怖，张茂遂以牛羊、金银、女妓、珍宝、珠玉及凉州特产贡献刘曜向其称藩，刘曜署张茂为西域大都护、凉王等职，旋即班师。
刘曜在短时期内征服了关、陇，但正如荀子所说：兼并易而坚凝难。在刘曜统治关陇期间，虽然也起用了一些有学识的汉人作官，也在长安开办学校，造经学之士以教之，但他始终没有一套成型的治国安民的政治措施。
刘曜初入关中时对部下的规谏还听得进去，如他命起陵宵台，在霸陵西南建寿陵时，侍中乔豫、和苞上疏进谏，刘曜听了大喜说：“侍中恳恳有古人风烈矣，可谓社稷之臣也。”遂罢其工程。但平定巴、氐叛乱不久，就开始对大臣们的进谏听不进去了。陈安之乱未平，刘曜就为其父母建永垣陵、显平陵，功费至亿，游子远进言停建，但他不听。
东晋太宁元年（324年），后赵对前赵发起全面攻势。次年（325年），后赵石勒派石他出上郡攻打依附于前赵的北羌王盆句除，俘虏三千多部，牛羊等两万多只。
刘曜大怒挥袖而起，当日进军到渭城，急令刘岳追击石他。刘曜进到富平，作为刘岳的声援。刘岳与石他交战于河滨，后赵被斩一千五百多人，五千多人掉入黄河淹死，主将石他当场殒命。石他所获战利品全部为刘岳所得，前赵振旅而归。
同年，后赵石生进攻前赵河南太守尹平于新安（今河南新安），尹平战败被斩，石生掠前赵5000人而还。
太宁三年（ 326年），前赵刘曜联合东晋司州刺史李矩、颍川太守郭默进攻石生，刘曜派刘岳在洛阳进攻石生，配给刘岳甲士五千，宿卫精兵一万，从盟津渡河。镇东将军呼延谟率领荆州、司州之兵从崤渑向东进发。刘岳攻克石勒的盟津、石梁，斩获五千余级，进一步包围石生于金墉。
石虎率领四万步骑兵从皋关入关，刘岳陈兵列阵以待石虎。刘岳与石虎两军战于洛西，刘岳战败，刘岳身中流矢，退守石梁。石虎于是挖壕沟、树立栅栏围困，断绝刘岳与外界的交通。刘岳军没有吃的，杀马吃掉。石虎又打败呼延谟，斩杀了呼延谟。刘曜亲自率军援救刘岳，石虎率领三万骑兵抵挡刘曜。
刘曜前军刘黑在八特坂大败石虎的部将石聪。刘耀来到金谷，晚上刘曜军无故大惊，士兵都溃散，于是退守渑池。晚上刘曜军中又大惊，兵士逃散，于是刘曜只好回长安。石虎抓捕了刘岳及其部将王腾等八十多人，还有氐羌三千余人，都押送到襄国，坑杀士兵一万六千人。刘曜到了渑池，穿素服哭祭，七天后才入城。而郭默南奔建康，李矩部下率众二千投降后赵。自此，司、豫、徐、兖等州皆为后赵所有。
咸和三年（ 328年）后赵石勒派石虎率兵四万自轵关（今河南济源西北）西上蒲阪（今山西永济县）攻打刘曜，刘曜自率精锐驰救蒲阪，但刘曜担心张骏、杨难敌承虚攻击长安，于是派遣河间王刘述调发氐羌部众驻扎在秦州。刘曜尽发精锐迎战石虎，从卫关北渡。
石虎害怕，率军撤退，刘耀追击，两军战于高侯（今山西闻喜县境），石虎大败，其部将石瞻被杀，后赵军陈尸200余里（夸张），前赵军缴获后赵军物资数以亿计。石虎南奔朝歌（今河南淇县）。
刘曜自大阳（今山西平陆西南）渡河，乘胜进军追击石生于金墉（今河南洛阳以来），决千金堨（在今河南洛阳以北）以灌城，洛阳为之震动。
同年十一月，石勒发兵三路进攻刘曜。十二月，石勒后赵诸军集结于成皋，不见刘曜设防，军队迅速开至洛河。
刘曜忙陈兵十万于洛西，南北十余里。刘曜从小喜欢喝酒，到了后来喝酒更甚。石勒到达，刘曜准备出战时，喝酒数斗，经常骑的马无故跌倒，于是换骑小马。等到出战时，喝酒斗余，把手西阳门。
石勒遂命石虎引兵自洛阳城北而西攻刘曜中军，命石堪率兵自城西而北，由刘曜前锋，石勒自出洛阳阊阖门，夹击刘曜，前赵军队大溃。刘曜在退兵时马陷石渠坠于冰上，身上被创十余处，其中贯穿伤有三处，被石堪生俘，被押送到石勒处。
石勒大获全胜，斩首五万余级。石勒让刘曜写信令其子刘熙投降。刘曜给刘熙的信中却令熙“与大臣匡维社稷，勿以吾易意也。”石勒遂杀刘曜
公元329年（光初十二年）正月，刘熙听说父亲刘曜被擒，大为恐惧，与兄南阳王刘胤商议，准备向西保守秦州。
尚书胡勋说：“如今虽然丧失君王，但国土仍然完整，将士也未叛离，暂且应当集中力量抵御敌军。力有不支时再逃也不晚。”刘胤发怒，认为这是扰乱人心，将他斩首，随后率领文武百官逃奔上邽。各地方官员也都放弃自己镇守的地方跟从，关中大乱。
将军蒋英、辛恕拥有士众数十万人据守长安，派使者向后赵请降，后赵派石生率领在洛阳的士众前往长安。
同年八月，南阳王刘胤率数万士众由上邽奔赴长安，陇东、武都、安定、新平、北地、扶风、始平各郡的胡人、汉人都起兵应从。刘胤屯军于仲桥，石生环城自守，后赵令中山公石虎率骑兵二万人救援。
九月，石虎在义渠大败前赵军队，刘胤逃归上邽。石虎乘胜追击，尸体枕籍千里。上邽被攻破，石虎擒获刘熙、刘胤及其将军、郡王、公卿、校尉以下三千多人，全数杀害。将前赵朝廷的文武官员、关东流民、秦州和雍州的大族九千多人迁徙到襄国，又在洛阳坑杀五郡的屠各部人众五千多。 前赵自此灭亡。
閱讀更多 屁香屁香的史料館 的文章
