班师还朝以后，论功行赏，狄青被任命为枢密使，作了最高军事长官。然而种种祸患也就由此而生。　　宋惩唐末五代武人专政，兵变频仍之弊，自开国以来，极力压低武将地位，以绝其觊觎之心，把右文抑武作为基本国策。从宋太祖的“杯酒释兵权”，分割禁军统帅权力，到实行“更戍法”，使兵不知将，将不知兵，直至发展到凡将帅出征，要由朝廷授以阵图，训令，将帅只能按图作战的荒唐地步。在这样的政治环境中，随着狄青官职的升迁，朝廷对他的猜忌，疑虑也在逐步加深。早在皇祐四年（1052年）狄青任枢密副使时，御史中丞王举正就认为，狄青出身行伍而位至执政，“本朝所无，恐四方轻朝廷”。右司谏贾黯上书皇帝，论奏狄青升官有四不可，御史韩贽等人亦皆附和。在依智高纵横岭南，满朝文武惊慌失措，狄青受命于危难，率兵出征之际，朝廷在欣喜之余，也仍然不忘“狄青武人，不可独任”，要以宦官任守忠监军，监视狄青。后因谏官李兑力言“唐失其政，以宦者观军容，致主将掣肘，是不足法。”朝廷也迫于形势紧急才作罢。到狄青凯旋还朝作了枢密使时，这种疑忌和不安达到了顶点。臣僚百官纷纷进言，不仅始终反对狄青作官者如王举正竟以罢官威胁，就连原来屡屡称颂狄青战功，誉之为良将的庞籍、欧阳修等人也极力反对任命狄青。难道是狄青居功自傲，怀有异心而招致众议吗？恰恰相反，狄青始终对朝廷忠心耿耿。在他作了枢密副使之后，脸上仍保留着宋代军士低贱的标记——制字。宋仁宗曾劝他用药抹去，狄青回答说：“陛下以功擢臣，不问门第，臣所以有今日，由此涅尔，臣愿留以劝军中。”首先想到的是鼓舞士气，而不是自己作官的尊严。　　狄青出身贫贱，曾有谄谀附阿之徒附会说他是唐朝名臣狄仁杰之后，狄青并不为改换门庭而冒认祖宗，他说：“一时遭际，安敢自比梁公。”在依智高败逃之后，有人曾主张报依智商已死，以此邀功，狄青却以为“不敢诬朝廷以贪功”。史称他“为人缜密寡言，其计事必审中机会而后发。行师先正队伍，明赏罚，与士卒同饥寒劳苦……尤喜推功与将佐。”狄青的品行和武功在当时朝野广为传颂，京师的百姓相与谁说：“诵咏其材武。青每出入，辄聚观之，至壅路不得行。”就连力主罢免他的文彦博也称他“忠谨有素”。欧阳修在嘉祐元年（1056）七月上书请罢狄青，洋洋数千言，举不出一条得力罪证，反而称赞他：“青之事艺，实过于人”，“其心不恶”，“为军士所喜”，任枢密使以来，“未见过失”。那么罪名是什么呢？不得不假托虚妄的阴阳五行说，把当年的水灾归罪于狄青，说：“水者阳也，兵亦阴也，武将亦阴也”，今年的大水就是老天爷因为狄青任官而显示的征兆。简直是无中生有，罗织罪名。为什么朝廷如此急于除掉狄青呢？文彦博说得明白，就是因为“朝廷疑耳”。在文彦博请罢狄青时，宋仁宗说“狄青是忠臣”，文彦博立即反驳“太祖岂非周世宗忠臣”。嘉祐元年（1056年）正月，仁宗生了一场病，后来慢慢康复，如制诰刘敞上书说：“天下有大忧者，又有大可疑者，今上体平复，大优者去矣，而大疑者尚存”，竟把狄青树为朝廷最大的威胁。在这种猜忌，疑虑达到登峰造极的时候，谣言纷起，有人说狄青家的狗头正长角，有人说狄青的住宅夜有光怪，就连京师发水，狄青避家相国寺，也被认为是要夺取王位的行动。嘉祐元年（1056年）八月，仅作了4年枢密使的狄青终于被罢官,但因无过，被加宰相衔{同中书门下平章事}，民间称“从士兵到元帅、从布衣到宰相”，出知陈州，离开了京师。