大業七年(611年)，隋煬帝第一次征討高麗。一百多萬隋軍分水陸兩路進攻。水路隋軍渡海登陸，至平壤郊外，因遭高麗伏兵突襲，敗退；陸路隋軍三十萬渡鴨綠水，在平壤城下被圍擊，逃回來的只有二千七百人。這樣的慘敗，並沒有使這個驕橫的暴君死心。才隔一年，他又發動第二次對高麗的進攻。他親自率領大軍攻打遼東，派大臣楊玄感在後方黎陽(今河南浚縣東北)督運糧草。楊玄感的父親楊素，原是隋煬帝的親信，幫助隋煬帝奪取皇位。後來受到隋煬帝猜忌，鬱鬱而終。楊玄感為此事對隋煬帝早就不滿，這一次看到局勢混亂，就想趁機起兵反隋。楊玄感用督運糧草的名義，徵發了年輕力壯的民夫、船工八千多人，要他們運糧到遼東前線。那些年輕人怨透了勞役，聽說叫他們遠離家鄉去幹苦差使，更加氣憤。
有一天，楊玄感把民夫集合到一起，說：“當今皇上不顧百姓的死活，讓成千上萬的父老兄弟死在遼東，這種情況不能再容忍下去。我也是被迫來幹這件事的。現在我決心跟大家一起推翻暴君。你們看怎麼樣？”大家一聽有人帶頭反對朝廷，怎麼不願意，頓時響起一片歡呼聲。楊玄感把八千民夫編成隊伍，發給武器，準備進攻隋軍。此時，他發現身邊缺少一個謀士幫他出謀劃策，於是想到了正在長安的好友李密。李密的上代是北周和隋朝的貴族。李密少年時，被派到隋煬帝的宮廷裡當侍衛。他生性靈活，在值班的時候，左顧右盼，被隋煬帝發現了，認為這孩子不太老實，就免了他的差使。李密並不懊喪，回家以後，發憤讀書，決定做個有學問的人。
有一次，李密騎著一頭牛，出門看朋友。在路上，他把《漢書》掛在牛角上，抓緊時間讀書。正好宰相楊素坐著馬車從後面趕來，看到前面有個少年在牛背上讀書，暗自奇怪。楊素在車上招呼說：“哪個書生，這麼用功啊？”李密回過頭來一看，認得是宰相，慌忙跳下牛背，向楊素作了一個揖，報了自己的姓名。楊素問：“你在看什麼？”李密回答說：“我在讀項羽的傳記。”楊素跟李密親切地談了一會兒，覺得這個少年很有抱負。回家以後，楊素跟他兒子楊玄感說：“我看李密這孩子的學識、才能，比你們幾個兄弟強得多。將來你們有什麼要緊的事，可以找他商量。”自那以後，楊玄感就跟李密交上了朋友。這回楊玄感要找謀士，想起他父親的叮囑，就派人到長安，把李密接到黎陽來。李密到了黎陽，楊玄感向他請教：要推翻隋煬帝，這個仗該怎麼打法。李密說：“要打敗官軍，有三種辦法。第一，皇上現在在遼東，我們帶兵北上，截斷其退路。他前有高麗，後無退路，不出十天，軍糧接濟不上，我們不用打也能取勝，這是上策。第二，向西奪取長安，抄他們的老巢。官軍如果想退軍，我們就拿關中地區做根據地，憑險堅守，這是中策。第三，就近攻佔東都洛陽，這是下策。因為朝廷在東都還留著一部分守兵，不一定能很快攻佔下來。”楊玄感急於求成，聽完這三條計策，覺得前兩條都太費時間，說：“我看你說的下策，倒是個好計策。現在朝廷官員的家眷都在東都。我們攻下東都，把他們家眷都俘虜起來。官軍軍心一動搖，我們就一定能取勝。”楊玄感立刻從黎陽出兵攻打東都，一路上，有許多農民踴躍參加起義軍，隊伍擴大到十萬人，接連打了幾個勝仗。隋煬帝正在帶領大軍猛攻遼陽，得到告急文書，連夜退兵，派大將宇文述等率大軍分兵討伐楊玄感。楊玄感抵擋不住，想往西退到長安去。
宇文述帶兵追擊，最後，把楊玄感的人馬圍住。楊玄感無路可走，終於被殺。李密從混亂中逃了出來，想偷偷地逃回長安。但是隋軍搜捕得很緊，李密還是被抓住了。隋將派兵把李密押送到隋煬帝的行營去。半路上，李密跟十幾個犯人一商量，把他們隨身帶的錢財都送給押送的隋兵，供他們吃喝。隋兵受了他們的賄賂，喝酒作樂，防備鬆懈下來。李密等人就趁隋兵喝醉的時候，翻牆逃跑了。李密脫離險境以後，想另找機會，反抗隋朝。他想找個起義軍的首領做靠山，但是有的起義軍首領看他是個文弱書生，不大重視他。李密沒辦法，只好改姓換名，東躲西藏，有幾次差點兒被官府抓去。最後，他聽說東郡（今河南滑縣東）瓦崗寨有一支起義軍，實力很強。首領名叫翟讓，為人厚道，又喜歡結交英雄，就去東郡投奔了瓦崗軍。
