到了元狩二年（公元前121年）春天，就是霍去病上次初露锋芒的两年后，汉武帝又一次开始对匈奴的进攻。这次出塞前，汉武帝封霍去病为霍去病为骠骑将军，品秩与大将军相等。其实在上次作战中霍去病的骑兵损失也不小，但是由于是那次作战没有什么功劳，还有本来是投降汉朝的匈奴人翕侯赵信又复降了匈奴，汉武帝为了鼓舞士气，要找一个英雄出来，霍去病在这次立了功，同时又是汉武帝宠信的外甥，这个英雄非他没属。

而这次出塞，汉武帝的目的应该是检验一下霍去病的大兵团作战能力，所以给了霍去病一万骑兵，出陇西，从处于守势的西北出发，面对次一级的右贤王部队，除了出其不意以外，也希望霍去病在这里锻炼自己的军事才能。

这次出塞作战，霍去病发挥了骑兵的高机动性，转战六天，越过焉支山一千余里，经过五个匈奴的部落，与敌人短兵相接，杀死了折兰王，砍掉卢胡王的头，诛杀全副武装的敌兵，抓获了浑邪王的儿子及匈奴相国、都尉，歼敌八千余人，缴获了休屠王的祭天金人。

在这次战役后不久，在这年的夏天，骠骑将军又一次领军出征，这次进攻中没有卫青的身影，又是四将军出塞，好象是元光五年的翻版，估计汉武帝是希望霍去病在这次出征中和他的舅舅卫青一样，能建立功勋，在军中树立起权威。

这次出塞的四位将军是骠骑将军霍去病与合骑侯公孙敖都从北地出兵，分道进军；博望侯张骞、郎中令李广都从右北平出兵，分道进军。在东北汉武帝出动了一万四千人，由李广和张骞率领，从汉武帝的意图来看，这次东北的作战是一次战略牵制，是为了西北的出击，目的是全力打击匈奴在西北的右贤王集团，以达到通西域的战略目的。

在西北作战中，合骑侯公孙敖没有能和霍去病会合，只有霍去病自己率领骑兵越过居延泽，经过小月氏，攻到祁连山，俘虏酋涂王，率众投降的有二千五百人，杀敌三万零二百人，俘获五个匈奴小王、五个匈奴小王的母亲、单于的妻子、匈奴王子五十九个，还俘获匈奴相国、将军、当户、都尉等共六十三人，获得了很大的胜利。同时在这次战役中霍去病的指挥日臻成熟，汉军的损失只有十分之三左右，不像上两次有接近一半的损失。

在这次战役中，霍去病的部下有赵破奴、高不识、仆多三人封侯，随霍去病到达小月氏的校尉们都被封为左庶长的爵位，霍去病的军中班底开始形成。元狩二年（公元前121年）是一个多事之年，在这年秋天又发生了令人拍案叫绝的事情。匈奴的单于由于西方的浑邪王屡次被骠骑将军率领的汉军打败，损失几万人而大怒，想召来浑邪王，把他杀死。在匈奴的制度中，是以左为尊，左贤王一般都是太子兼任，左贤王集团也要比右贤王集团兵力精锐，对于右贤王的关照本来就没有左贤王集团多，再加上由于这一年中浑邪王屡次被骠骑将军击败，所以本来就地位不太高的右贤王集团的浑邪王被单于盯上了，估计是要作为一个典型案件来处理，振作一下军心士气，估计是消息不机密，所以被浑邪王知道了，于是浑邪王和休屠王等想投降汉朝，就先派人到边境迎住汉人。这时，大行李息率兵在黄河岸边筑城，见到浑邪王的使者，立即就命令传车急驰而归，向皇帝报告。皇上听过汇报后，怕浑邪王用诈降的办法偷袭边境，于是就命令骠骑将军领兵前去迎接浑邪王和休屠王。骠骑将军已经渡过黄河，与浑邪王的部队相互远望着。