张骞终于找到机会率领部属逃离了匈奴。他们向西急行几十天，越过葱岭，到了大宛(今乌兹别克共和国境内)。由大宛介绍，又通过康居(今哈萨克共和国东南)，到了大夏。大夏在今阿姆河流域。张骞这才找到了大月氏。十多年来，大月氏这个“行国”已发生了很大变化：一是在伊犁河畔受到乌孙的攻击，又一次向西远徙。乌孙，63万人，也是个“行国”，曾在敦煌一带游牧，受过大月氏的攻击。后来匈奴支持乌孙远袭大月氏，大月氏被迫迁到阿姆河畔，而乌孙却在伊犁河留住下来。自从大月氏到了阿姆河，不仅用武力臣服了大夏，还由于这里土地肥沃，逐渐由游牧生活，改向农业定居，无意东还，再与匈奴为敌。张骞在大月氏逗留了一年多，得不到结果，只好归国。回国途中，又被匈奴拘禁一年多。公元前126年，匈奴内乱，张骞乘机脱身回到长安。
　　张骞出使时带着100多人，历经13年后，只剩下他和堂邑父两个人回来。这次出使，虽然没有达到原来的目的，但对于西域的地理、物产、风俗习惯有了比较详细的了解，为汉朝开辟通往中亚的交通要道提供了宝贵的资料。
　　张骞回来以后，向武帝报告了西域的情况。这就是《汉书·西域传》资料的最初来源。之后，由于张骞随卫青出征立功，“知水草处，军得以不乏”，被武帝封为“博望侯”。
　　元狩四年(公元前119年)，张骞第二次奉派出使西域。这时，汉朝业已控制了河西走廊、积极进行武帝时对匈奴最大规模的一次战役。几年来汉武帝多次向张骞询问大夏等地情况，张骞着重介绍了乌孙到伊犁河畔后已经与匈奴发生矛盾的具体情况，建议招乌孙东返敦煌一带，跟汉共同抵抗匈奴。这就是“断匈奴右臂”的著名战略。同时，张骞也着重提出应该与西域各族加强友好往来。这些意见得到了汉武帝的采纳。
　　张骞率领300人组成的使团，每人备两匹马，带牛羊万头，金帛货物价值“数千巨万”，到了乌孙，游说乌孙王东返，没有成功。他又分遣副使持节到了大宛、康居、月氏、大夏等国。元鼎二年(公元前115年)张骞回来，乌孙派使者几十人随同张骞一起到了长安。此后，汉朝派出的使者还到过安息(波斯)、身毒(印度)、奄蔡(在咸海与里海间)、条支(安息属国)、犁轩(附属大秦的埃及亚历山大城)，中国使者还受到安息专门组织的二万人的盛大欢迎。安息等国的使者也不断来长安访问和贸易。从此，汉与西域的交通建立起来。
　　元鼎二年(公元前115年)，张骞回到汉朝后，拜为大行令，第二年死去。他死后，汉同西域的关系进一步发展。元封六年(公元前105年)，乌孙王以良马千匹为聘礼向汉求和亲，武帝把江都公主细君嫁给乌孙王。细君死后，汉又以楚王戊孙女解忧公主嫁给乌孙王。解忧的侍者冯镣深知诗文事理，做为公主使者常持汉节行赏赐于诸国，深得尊敬和信任，被称为冯夫人。由于她的活动，巩固和发展了汉同乌孙的关系。神爵三年(公元前60年)，匈奴内部分裂，日逐王先贤掸率人降汉，匈奴对西域的控制瓦解。汉宣帝任命卫司马郑吉为西域都护，驻守在乌垒城(今新疆轮台东)，这是汉朝在葱岭以东，今巴尔喀什湖以南的广大地区正式设置行政机构的开端。