元狩二年(前121年)，张骞又奉命与“飞将军”李广，率军出右北平(今河北东北部地区)，进击匈奴。李广率四千骑作先头部队，张骞将万骑殿后。结果李广孤军冒进，陷入匈奴左贤王四万骑兵的重围。李广率领部下苦战一昼夜，张骞兼程赶到，匈奴始解围而去。此战虽杀伤众多敌人，但李广所率士兵大部分牺牲，张骞的部队亦因过分疲劳，未能追击。朝廷论罪，李广功过两抵，张骞却以“后期”罪贬为庶人。从此，张骞离开了军队生活。但张骞所开始的事业并未结束。不久，他又第二次踏上了通使西域的征途。

再出西域功得圆满

元狩二年(前121年)春，汉代名将霍去病出陇西，过焉支山(今甘肃山丹县东南)千余里，给匈奴以沉重打击。同年秋天，据守河西的匈奴浑邪王率众来降，整个河西走廊，以至盐泽(即罗布泊)完全为汉朝所控制。元狩四年(前119年)春，汉武帝又遣卫青、霍去病，分路出击匈奴。卫青大败匈奴单于于漠北，霍去病出代(今山西北部)北二干余里，抵瀚海(即呼伦泊)而还。随着汉朝反击战争的节节胜利，匈奴被迫向西北转移，至此“漠南无王庭”。但是，匈奴贵族仍有可能利用西域的一些附属国，特别是强大的乌孙国为基地，再伺机反扑。要从根本上解除匈奴的威胁，就必须彻底打破匈奴在西域的统治，联络乌孙国，以砍断匈奴的“右臂”。这正是张骞第二次出使西域，配合军事形势，开展外交攻势的目的。

张骞第一次出使西域时了解到，乌孙与大月氏原本都是居住在祁连、敦煌一带的小国。月氏曾攻杀乌孙国王。后来乌孙国王的儿子昆莫得到匈奴的支持，恢复国土，并率军追击已西迁于“塞人”土地的月氏，迫使月氏更西徙大夏。乌孙据有其地，又兼并邻近小国，势力日益强盛，对匈奴也就不大顺从了。匈奴单于曾遣兵讨伐，但反为昆莫所败。此后，乌孙名义上虽然还附属于匈奴，事实上已成为西域的一个独立强国。张骞分析当时的西域形势，认为西域只有乌孙是可以同匈奴抗衡的力量；乌孙如能同汉朝合作，葱岭以西的大宛、康居、月氏和大夏等国，定会望风归顺。所以，当汉武帝征询张骞的意见时，张骞提出了联合乌孙，进一步打通西域，孤立匈奴的建议。汉武帝很快接受了张骞的意见，任命张骞为中郎将，派遣他第二次出使西域。

张骞于元狩四年(前119年)出发。这时河西走廊已畅通无阻。张骞率领一个由三百人组成的庞大使团，每人各备两匹马，分别作乘骑和驼载工具，牛羊万计，携带巨量的黄金、钱币和丝织品，浩浩荡荡向西行进。不久，顺利到达乌孙。

张骞携带着丰厚的礼物，去见乌孙国王昆莫。他向昆莫说明来意，提议乌孙能和汉朝缔结同盟，共击匈奴。并且表示，为了酬谢，汉朝愿意做到如下三点：第一，汉朝送还乌孙东部的故地；第二，遣嫁汉公主为乌孙国王夫人；第三；两国结为昆弟。