同年六月，刘备继取汉中后，派孟达、刘封攻占汉中郡东部的房陵、上庸等地，势力有所扩展。七月，孙权欲攻合肥，魏军大部调动淮南防备吴军。镇守荆州的蜀前将军关羽，乘此机会，留南郡(治江陵，今湖北江陵)太守糜芳守江陵，将军傅士仁守公安(今湖北公安西北)，自率主力北攻荆襄(魏荆州治新野，今河南新野；襄阳郡治襄阳，今湖北襄樊)。围魏将曹仁，水淹于禁七军，斩庞德。时樊城守军仅数千人，城墙因水淹多处崩塌，曹仁曾考虑放弃樊城，被辅助曹仁的汝南太守满宠所劝止。曹仁决心奋勇抵御。胡、傅二人果然乘机降蜀。此时，陆浑(今河南嵩县东北)人孙狼等，亦杀官起兵，响应关羽。关羽声势一时“威震华夏”(《三国志·蜀书·关羽传》)。
　　 当时都城在许昌，距樊城很近，曹操感到威胁，为避关羽锋芒，一度准备迁都河北。司马懿和曹椽蒋济及时劝阻：“禁等为水所没，非战守之所失，于国家大计未有所损，而便迁都，既示敌以弱，又淮沔之人大不安矣。孙权、刘备，外亲内疏，羽之得意，权所不愿也。可喻权所，令掎其后，则樊围自解”(《晋书·宣帝纪》)。曹操从其计，孙权果然派吕蒙袭取江陵，关羽被其俘杀。
　　 此战的胜利，曹操利用孙、刘争夺荆州的矛盾，充分运用外交谋略，坐收渔利，不仅挫败关羽的强大攻势，解除了樊城之围，而且也使诸葛亮原定的一路向宛洛、一路出秦川的两面钳击中原的计划无法实现。更重要的是破坏孙、刘联盟，改变了当时的战略格局，掌握了主动权。
　　 徐晃击退关羽后，曹操嫌恶荆州及附近百姓，想把他们都迁走。司马懿认为：“荆楚轻脱，易动难安。关羽新破，诸为恶者藏窜观望。今徙其善者，既伤其意，将令去者不敢复还”(《晋书·宣帝纪》)。曹操从之，没有移民。藏窜逃亡者果然都复出归化。
　　 延康元年(220年)，曹操去世，朝野危惧，司马懿管理丧葬诸事，内外肃然。
　　 同年，曹丕即魏王位，司马懿受封河津亭侯，转丞相长史。
　　 时孙权率军向西。朝臣认为樊城、襄阳缺乏粮，不能抵御吴军，请召守将曹仁回驻宛城。司马懿则认为不该放弃二城：“孙权新破关羽，此其欲自结之时也，必不敢为患。襄阳水陆之冲，御寇要害，不可弃也”。曹丕未依其言，命曹仁放火烧毁二城。后来孙权果然没有入侵。曹丕悔之不及。
　　 同年，曹丕登皇帝位，史称魏文帝。由于司马懿为曹丕“篡汉”出了大力，所以登基后，曹丕任命司马懿为尚书，不久转督军、御史中丞，封安国乡侯。
　　 黄初二年(221年)，免去督军官职，升任侍中、尚书右仆射。
　　 黄初三年(222年)，和黄初五年(224年)，曹丕两次伐吴，都以司马懿镇守许昌，并改封司马懿为向乡侯。黄初六年(225年)春二月，转任抚军大将军、假节，领兵五千，加给事中、录尚书事。司马懿辞让，曹丕说：“吾于庶事，以夜继昼，无须臾宁息。此非以为荣，乃分忧耳”(《晋书·宣帝纪》)。
　　 同年，曹丕又大兴水军攻吴，仍命司马懿留守，“内镇百姓，外供军资”(《晋书·宣帝纪》)。临行，下诏书给司马懿说：“吾深以后事为念，故以委卿。曹参虽有战功，而萧何为重。使吾无西顾之忧，不亦可乎”(《晋书·宣帝纪》)！后曹丕由广陵回师洛阳，又下诏对司马懿说：“吾东，抚军当总西事；吾西，抚军当总东事”(《晋书·宣帝纪》)。于是司马懿留镇许昌。