李廣將軍也有馬失前蹄的時候，在公元前130年左右，李廣出雁門關抗擊匈奴，此次匈奴兵多，打敗了李廣的軍隊，並生擒李廣。司馬遷描寫李廣逃脫的細節很生動：李廣被抓住時已經受傷，匈奴讓兩馬並行，中間是一張編織好的大網，李廣就在網兜裡躺著。走了十多里路，李廣裝死一動不動，其實一直在暗中觀察周圍的形勢。他發現旁邊有一匈奴兵騎著一匹良馬，目測能跑得快，跑得遠，就趁著匈奴兵不注意，突然飛身而上，一晃眼就騎在馬上，旁邊的人還沒反應過來發生了什麼事，李廣便一把把馬上的匈奴兵推下去，一手順勢取出馬上的弓箭，一手揚鞭策馬已飛奔出數十里。數百名匈奴兵緊追不捨，李廣一邊向前飛奔，一邊反身拉弓射向追兵。匈奴兵遵循著單于的命令要活捉李廣，行動上勢必有所顧忌，最終李廣得以逃脫。
李廣從匈奴處逃了回來，因為打了敗仗，又被匈奴活捉，所以被軍法吏處置，貶為平民。賦閒在家幾年後，正好遇到韓安國打了敗仗，被髮配到右北平駐紮軍隊，武帝就封李廣為右北平太守，讓其和韓安國一起駐守在右北平。
在右北平附近地區的匈奴聽說後，稱其為“漢之飛將軍”，幾年之內都不敢入侵右北平地區。李廣“飛將軍”的名號就是這樣來的。
“飛將軍”的名號傳遍大江南北，只是李廣沒有想到。自從這一名號被叫響以來，他的人生似乎已經達到了頂峰。
元朔六年（前123年），李廣出任後將軍，跟隨大將軍衛青出兵定襄，今內蒙和林格爾地區，抗擊匈奴。其他將領都憑藉斬敵之首級數，立軍功，封為侯，獨獨李廣沒有軍功。
又過了兩年，李廣被任命為郎中令率領四千騎兵從右北平出塞，博望侯張騫則率領萬餘名騎兵和李廣共同出征，兵分兩路。對，你沒有看錯，這個張騫正式被派出使西域的張騫，因為出使西域的冒險壯舉被封為博望侯。
李廣走了數百里，不知怎麼地被匈奴人發現了，他們的左賢王率領四萬騎兵包圍了李廣的軍隊，軍士們一時亂了陣腳。李廣派他的兒子李敢去偵察敵軍的情況。李敢帶著數十名精兵，直接衝入匈奴隊伍，繞了一圈就飛奔回來，告訴父親李廣這些匈奴兵很容易對付。軍士們這才安心了。這裡容易讓讀者感到困惑：李敢帶著十個人就這樣輕輕鬆鬆在四萬人的包圍圈中轉了一圈，然後又安全地回來了？如果匈奴人這麼容易對付，漢王朝也不會在邊境和匈奴人交戰這麼多年了。很明顯這是為了穩定軍心。至於是李敢狂妄自大還是李廣暗中授意，亦或是司馬遷為了突出李廣的軍事才能，這些都不重要了。重要的是士兵們沒有被匈奴兵嚇跑，而是開始積極應戰。
李廣讓士兵們形成圓形軍陣，持滿弓向外。匈奴兵猛攻，雙方箭矢如雨。漢軍畢竟人數少，有些寡不敵眾，死傷者已經過半，連箭也快用完了。李廣就命令士兵拉滿弓，不要放箭，而他自己用大黃弩弓射匈奴的副將，殺死了好幾個，匈奴軍漸漸散去，雙方對壘的緊張局勢正在緩解。這時天色已晚，軍吏士兵都面無人色，可是李廣卻神態自然整頓軍隊。軍中人都很佩服他的勇敢。第二天，博望侯張騫率軍趕到，匈奴就撤軍了。當時李廣的軍隊幾乎全軍覆沒，已經沒有力量再追擊敵人了，漢軍只好收兵回朝了。按漢朝法律，博望侯張騫行軍遲緩，延誤限期，應處死刑，後被貶為平民。李廣則功過相抵，沒有封賞。
和李廣同朝為官的兄弟李蔡名聲遠不如李廣，早已被封為列侯，位至三公，就連曾經是李廣手下的士卒有的也被封侯，唯獨李廣沒有，連他自己都感覺到好像活得越來越差勁了。他和王朔閒聊，王朔是當時可以通過覘望一個地方雲氣，判斷人事吉凶禍福的人。李廣說：自從漢朝和匈奴開戰以來，每場戰役我都參加，軍事才能也不差，打仗時不甘居人後，為什麼我到現在還沒有被封侯呢？難道我命中不該有嗎？王朔讓他想想自己平生的遺憾事。李廣想起曾為隴西太守，羌人反叛，誘騙他們投降，當時投降的有八百多人，李廣用欺詐手段把他們都殺了，直到今天仍是最悔恨的一件事。王朔說殺死投降的人不吉利，這就是李廣不能封侯的原因。這個故事迷信的色彩很濃，真實性也大打折扣，唯一能感受到的是李廣對不能封侯這件事耿耿於懷。漢代皇帝及其寵幸們排擠殘害李廣及其家族的意思也隱含在其中。
又過了兩年，衛青、霍去病率軍大舉出徵匈奴，李廣已經六十多歲了，仍自行請求前往，武帝認為他老了，沒有精力了就不許。過了好久還是同意了，卻暗中命令衛青不要對李廣委以重任，年齡大了精力不行，再者李廣的運氣太差，恐怕和匈奴交戰又打敗仗。後來在行軍途中，李廣率領的這路軍隊因為沒有嚮導走錯了路，貽誤戰機，沒能及時和衛青部匯合攻擊匈奴，李廣本來就感慨自己命運不濟，現在更是覺得天意如此，心灰意冷，就承擔了全部責任自殺謝罪。他手下的軍士及聽說這件事後的老百姓都為他感到傷心難過。
司馬遷極力稱讚李廣，李廣雖然不善言談，但為人卻忠厚老實，精於騎射，勇敢作戰，有軍事才能，愛士兵，不貪財，只是人生際遇坎坷，作者不禁對其表示了同情和感慨。
