而《史记·李将军列传》载：
　　广以郎中令将四千骑出右北平，博望侯张骞将万骑与广俱，异道。行可数百里，匈奴左贤王将四万骑围广，广军士皆恐，广乃使其子敢往驰之。敢独与数十骑驰，直贯胡骑，出其左右而还，告广曰：“胡虏易与耳。”军士乃安。广为圜陈外向，胡急击之，矢下如雨。汉兵死者过半，汉矢且尽。广乃令士持满毋发，而广身自以大黄射其裨将，杀数人，胡虏益解。会日暮，吏士皆无人色，而广意气自如，益治军。军中自是服其勇也。明日，复力战，而博望侯军亦至，匈奴军乃解去。汉军罢，弗能追。是时广军几没，罢归。汉法，博望侯留迟后期，当死，赎为庶人。广军功自如，无赏。
在这次河西之战中，霍去病战果辉煌，而李广则仍然是损兵折将，功过相抵，未得奖赏。可见汉武帝给予了李广一次又一次的机会，可是李广偏偏不能有任何重大战功，屡战屡败。一次又一次的机会，换来的是接二连三的失利与耻辱。后人常常叹李广生不逢时，怀才不遇，果生不逢时耶？果怀才不遇耶？司马迁于汉匈战争中军功最著的卫、霍二人殊无真诚赞誉由衷敬佩之词，倒是私心以为卫、霍出于外戚，其功亦出于侥幸。卫、霍诚出外戚，然其功果侥幸耶？
　　元狩四年（前119年）春，大将军卫青、骠骑将军霍去病各领五万骑，步兵从者数十万，霍去病出代郡，卫青出定襄击匈奴。此役即汉匈战争中最为显赫最具有决定性的漠北之战。李广得罪于斯役。《史记·李将军列传》载：
　　广数自请行。天子以为老，弗许；良久乃许之，以为前将军。是岁，元狩四年也。
　　广既从大将军青击匈奴，既出塞，青捕虏知单于所居，乃自以精兵走之，而令广并于右将军军，出东道。东道少回远，而大军行水草少，其势不屯行。广自请曰：“臣部为前将军，今大将军乃徙令臣出东道，且臣结发而与匈奴战，今乃一得当单于，臣愿居前，先死单于。”大将军青亦阴受上诫，以为李广老，数奇，毋令当单于，恐不得所欲。而是时公孙敖新失侯，为中将军从大将军，大将军亦欲使敖与俱当单于，故徙前将军广。广时知之，固自辞于大将军。大将军不听，令长史封书与广之莫府，曰：“急诣部，如书。”广不谢大将军而起行，意甚愠怒而就部，引兵与右将军食其合军出东道。军亡导，或失道，后大将军。大将军与单于接战，单于遁走，弗能得而还。南绝幕，遇前将军、右将军。广已见大将军，还入军。大将军使长史持糒醪遗广，因问广、食其失道状，青欲上书报天子军曲折。广未对，大将军使长史急责广之幕府对簿。广曰：“诸校尉无罪，乃我自失道。吾今自上簿。”至莫府，广谓其麾下曰；“广结发与匈奴大小七十余战，今幸从大将军出接单于兵，而大将军又徙广部行回远，而又迷失道，岂非天哉！且广年六十余矣，终不能复对刀笔之吏。”遂引刀自刭。广军士大夫一军皆哭。百姓闻之，知与不知，无老壮皆为垂涕。而右将军独下吏，当死，赎为庶人。