义渠安国到陇西后，召集了三十多位羌族酋长，谴责他们图谋不轨，一齐处斩，同时纵兵杀掠羌族一千多人。结果，激化了羌人与汉朝的矛盾，加速了羌族叛乱的爆发。先零羌首领杨玉会同各部落羌兵围攻义渠安国，并且进攻汉朝边城，诛杀官吏，把义渠安国打得大败而归。
　　 神爵元年(前61年)春，宣帝决定派军队平定羌人的叛乱。这时赵充国已七十三岁，当宣帝派御史大夫丙吉去询问他应派谁担任统帅时，他回答说：“亡逾于老臣者矣。”(《汉书·赵充国辛庆忌传》)宣帝又问：“羌人目前的势力究竟有多大?要带多少兵去?”赵充国说：“百闻不如一见，军事上的事难以遥测，我愿先到金城(今兰州市西北)去，察看情况后才能提出作战方略。羌族虽说是人数较少的民族，但它背叛朝廷，是叛逆行为，注定会失败的，请陛下相信我能担当此任，你就不必担忧了。”宣帝听他这么一说，含笑答应了他的请求。
　　 赵充国率领一万多骑兵先到了金城，准备渡过黄河向北进军，为了防备羌兵在汉军渡河时突然出击，他先派出三个分队趁夜偷渡过河，在对岸建立阵地，以掩护全军过河。第二天全军过河后立即构筑营垒严阵以待，不久，便有一百多个羌族骑兵到汉营附近来寻衅挑战。赵众将领建议出阵迎战，充国传令：“我军远道而来，人马疲惫，不可驰驱。敌骑都是轻装精兵，也可能是专门来引诱我们的小股前锋，我们既然大军出征，应以全歼敌军为目的，而不要贪图局部的小胜利。”羌兵见汉军不动，便扬尘而去。赵充国派人到咽喉要道四望峡(今兰州西南)侦察，发现那里没有敌人，便率众连夜穿过四望峡，直插西部都尉府(今青海海晏)。
　　 赵充国进驻西部都尉府后，并未立即出战，而是每天设宴摆酒犒劳将士，全军斗志旺盛。无论羌兵怎样挑战，汉军都不理睬。原来赵充国按兵不动，是有长远战略意图的。他知道，在羌族各部落中，先零羌最为顽固，一些弱小的部落如罕、秆等部，都是在先零羌的胁迫之下与汉朝为敌的，先零谋反之初，罕、开部首领靡当儿曾派其弟雕库来见西部都尉，陈述其本不愿反的立场，但恰遇部分罕、开部落的人参与了反叛，西部都尉便将雕库扣留。赵充国到来之后，下令释放雕库，并当面抚慰说：“大军只杀有罪的人，你本无罪，我就放你回去，望你转告各部，速与叛乱者断绝关系，以免自取灭亡。现在天子有诏，对于参与反叛而能投案自首的人，或者协助官军逮捕斩杀叛匪的人，都一律免罪，凡能捕杀一个有罪的大贵族赏钱四十万，中等豪绅十五万，小富豪二万，壮年男子三千。”雕库听了十分高兴，当即表示唯命是从，而后返回部落。赵充国的策略是以攻心为上。想通过安抚的办法分化瓦解敌人，打破其部落间的联盟，等到他们只剩少数顽固分子时再出兵歼灭。
　　 但是，汉宣帝及大多数朝廷官员都反对赵充国的做法。酒泉太守辛武贤向宣帝提议说：“如今边防部队都集中在南山，北边空虚，而且塞外地区苦寒，内地人马很不适应，已经明显瘦弱，不如在七月上旬出兵，各带一个月的粮草，从张掖、酒泉分路出发，征讨鲜水(今青海湖)一带的罕、秆羌人，虽不能消灭羌兵，也能掠夺大量牲畜，俘虏他们的妻儿，然后退兵，伺机出击。这样一来，必能震慑羌虏。”宣帝对辛武贤的意见表示赞同。一面向陇西调集军队，一面把辛武贤的意见转交赵充国，命他与部属讨论。赵充国与长史董通年共同提出针锋相对的反驳意见：“辛武贤想轻率地带领一万人马，绕道千里去攻击罕、开是不实际的。如果一匹马驮上三十天的粮食，再加上武器服装，就很难快速前进了。况且，即使汉军辛辛苦苦地赶去了，飘忽不定的羌兵或者逃匿，或者据险扼守，截断汉军的粮道，汉军必然师劳力竭，白白耗费人力、财力。“赵充国从实际情况出发，坚持采取一拉一打、软硬兼施、刚柔相济的策略，团结、争取罕、开，讨伐先零。他认为只有“先行先零之诛”，才能震慑罕、秆等部落，使之“悔过反善”，这才是“全师保胜安边之策”。