人们往往更喜欢演艺中风风火火的隋唐英雄们，而忽视了李渊这样深藏不露的低调英雄。
李渊最初是以镇压造反者的正面形象出现在隋史中的，他一开始对各地的起义是咬牙切齿，积极参与谋划镇压方略。原因很简单，因为各地汹涌的农民造反者们逐渐动摇了隋朝的统治，直接威胁着李渊这个贵族利益者的权益。
公元617年，刘武周因与太守王仁恭的侍女私通，就先下手为强，以贪污的罪名杀死了王仁恭，然后自称天子。这时的李渊正在太原担任留守，他以讨伐刘武周为名，招兵买马，十余天就聚集了超过一万人的军队。但李渊却并不出兵攻击刘武周，还秘密派人召回在河东的长子李建成和三子李元吉。
很显然，此时的李渊内心已经起了不臣之心。
实际上，李渊并不是那种保守顽固、对隋朝愚忠的人。隋朝的统治被动摇后，李渊觉得自己没有必要始终坐在隋朝这条船里随着王朝一起覆灭了，这很符合贵族阶级的利益思想，因为对于他们来说，谁当政都无所谓，最重要的是家族利益。李渊长期在与起义军作战的第一线，非常清楚造反者已经遍布全国，隋朝的灭亡是迟早的事情，李渊不得不为自己的前途考虑。
在最开始，李渊效忠隋王朝是因为可以从中获得权益，当这个利益无法获取，李渊就要留意自己的出路了。早在李渊出镇太原的时候，就对李世民说∶"唐固吾国，太原即其地焉。"隐约透露出割地自守，称霸一方的意思。随着隋朝形势的日益恶化，李渊造反的念头从出现到深入发展。之前的招兵自肥就是壮大自己实力的表现。
李渊的二儿子李世民在李渊造反思想的发展和造反实践过程中，起到了推波助澜的作用。李世民敏锐地预料到隋朝国运将尽，充分利用父亲主政太原的有利时机，积极为反隋争霸进行活动。李世民一边联络晋阳县令刘文静、晋阳宫副监裴寂奔走谋划；一边积极招兵买马，准备起事反隋。正史记载他为后来的晋阳起兵做好了充分的准备。不过，唐初的历史被人为修改删定过。按照正史记载，是李世民最终劝李渊下定了起兵太原的决心。
当时，太原副留守王威和高君雅是隋炀帝的亲信，他俩发现李渊最近的行动十分反常，有造反的意图。就决定先下手除掉李渊，但保密工作没有做好，晋阳乡长刘世龙知道了两人的阴谋，就告诉了李渊。
此时，就算李渊不想造反也不行了。
公元617年5月15日，李渊召王威、高君雅议事。刘文静就领着开阳府司马刘会政前来，状告两位副留守勾结突厥，李渊直接借机将二人拿下，当天就直接斩首。当时，太原城外经常出现小股的突厥骑兵。李渊找的理由可以说是十分自然，让人挑不出毛病。
除去两个碍手碍脚的奸细后，李渊开始明目张胆地准备起兵。617年7月，李渊率军三万在太原誓师，正式起兵。这个时候，封建社会的贵族与农民阶级的区别就凸显出来了，李渊发布了兴兵檄文，宣称自己只是替天行道，废昏立明，这样的声明为李渊减轻了许多政治阻力。
客观地说，李渊的成功完全是别人送给他的。当时最强大的起义势力，李密的瓦岗军正在洛阳与王世充军激战，这让隋朝的关中地区兵力空虚。而河东的隋军为了抵御河北的起义军，也不敢西进去阻拦李渊军队。这就导致李渊的部队遇到了极少的阻碍，轻松的打到了长安。
公元618年，隋炀帝杨广在扬州被杀。杨广的死给李渊势力带来了不大不小的震动。隋炀帝死后，杨侑做皇帝对抗隋炀帝法统的作用降低了；但另一方面，杨侑又名正言顺地成了天下的君主。只是现在，他姓之人也可以称帝号令天下。
于是，5月20日，李渊正式登基称帝。因为李渊封爵是唐王，新的王朝定国号为"唐"，仍然定都长安。
不过，这时候的唐王朝仅仅是一个偏居关中的政权。当时天下的大部都被农民起义军占领。最强大的瓦岗军在唐朝建立前后一直在洛阳东边与王世充激战。结果李密活生生地把自己的实力都拖了进去，丧失了宝贵的发展机遇。后来，宇文化及率军北上，李密的瓦岗军处境就很危险了。李密在这种时刻投向了王世充，与宇文化及作战。宇文化及被打败了，瓦岗军也彻底拖垮了。李密又只好向西投降了李渊，后来李密又想东山再起，事败后瓦岗军的余部都融入了唐朝军队中。
洛阳的王世充在瓦岗军失败后，也过起了皇帝瘾。唐朝大军在平定西北后紧跟着讨伐王世充，王世充打不过，向窦建德求援，窦建德亲自率兵十万救援王世充，在虎牢关被唐军打败，窦建德被俘遇害。王世充势力随即失败。而河北农民起义军余部在刘黑闼的统率下继续对抗唐朝。武德六年，刘黑闼遭部将出卖，被唐军杀害，余部被消灭。
而江淮地区的杜伏威在宇文化及杀炀帝于江都的时候，没有抓住时机向东南的隋朝残余发起进攻。他先是莫名其妙地向洛阳的隋朝残余上表称臣，后来又遣使长安向李渊投降。这让他的部下百思不得其解，李渊对杜伏威也很好，任命他为淮南安抚大使、和州总管，封楚王，让他主宰东南半壁军事。
杜伏威打着唐朝的旗号，帮助李渊平定了东南各地，自己也成为江淮一带最大的势力。但唐朝不会坐视这样一股势力存在，在平定河北之后，唐军向江准地区移动，威胁杜伏威入朝。杜伏威不得不前往长安朝见李渊。这一去，杜伏威就失去了实权。杜伏威走后，部下辅公祐于武德六年在丹阳称帝，建立宋国。唐王朝水陆俱进，分南、西、北三面进攻辅公祐。不到半年，辅公祐兵败被杀。宋国灭亡，唐朝真正统一了中国。
可以说，从头到尾，农民起义军是李渊最大的帮手。没有农民起义军动摇隋朝统治根基，没有农民起义军目光短浅、相互残杀，李渊这个前朝的贵族是没有机会触摸龙椅的。
