自从司马懿屈从于曹操之后，就遇到对他的人生影响巨大的一个人——曹丕，曹操安排他和曹丕一起游处。官也越做越大，历任黄门侍郎、议郎、丞相东曹属。建安二十年（公元215年），司马懿跟随曹操征讨张鲁，在张鲁降曹之后司马懿进言说"刘备以诈力虏刘璋，蜀人未附而远争江陵，此机不可失也。今若曜威汉中，益州震动，进兵临之，势必瓦解。因此之势，易为功力。圣人不能违时，亦不失时矣。"曹操并没有采纳他的意见，"人苦无足，既得陇右，复欲得蜀。"这也是成语得陇望蜀的来历。
司马懿的建议从战略上将应当是对的，那么曹操为何没有采纳呢。除了曹操对司马懿有猜忌和防范之心外，也是当时的形势不允许，曹操何曾不想拿下蜀地，消灭刘备势力。我们可以看看征张鲁的前后发生了什么，建安十三年（208），赤壁之战结束后，三足鼎立的形势已经确定，曹操也再也没有能力统一全国，回到许昌之后，马上设立丞相，巩固自己的权利，此时的曹操由于实力的增强，已经不想做一位汉室的忠臣，但是也明白汉高祖"高筑城、广积粮、缓称王"的谋略。建安十七年（212年），荀彧因反对曹操称魏公而死（一说被迫服毒自尽）；建安十九年（214年），杀死伏皇后以及汉献帝的两个儿子；建安二十年（215年），册封自己的女儿曹节为皇后；同年，征讨张鲁；建安二十一年（216年），曹操建立魏国，都邺城，冤杀谋士崔琰；建安二十二年（217年），曹操征讨孙权，孙权向曹操称臣，并上劝进表。从这一系列的行为可以看出曹操此时旨在巩固自己的政权，清除反对势力，军事行动只是提升自己威望的一种手段，他在《让县本自明志》中也大胆承认自己是不会放弃权力的。详细的分析可以参看张作耀先生的《曹操传》，所以，曹操拒绝了司马懿的意见。
建安二十一年（216年），魏国建立，司马懿任太子中庶子，这时已经效力于曹氏八年，一直与曹丕相处，司马懿选择站在曹丕一边，参与了曹丕的众多大事件，凭借自己的才华，为曹丕出了不少好主意，深得曹丕的信任和重视。"每与大谋，辄有奇策，为太子所信重。"与陈群、吴质、朱铄号称"四友"，其中陈群出生颍川陈氏，陈寔之孙，有突出的治世之才，为曹魏政权的礼制和九品中正制做了重要贡献，任司空、录尚书事。吴质为建安七子之一，但出身寒门，在曹丕夺嗣过程中，出了不少计策，曹丕即位后，一直领兵在外，督河北诸军事。相比较而言，朱铄的名气要小很多，后来也成为一名将领，在史书中的记载不多，当为曹丕重要幕僚之一。
建安二十二年（217年），司马懿跟随曹操征讨孙权，孙权上表乞降，并上劝进表，曹操说"此儿欲踞吾著炉炭上邪！"就是说，这小子想要把我放在火上烤啊，想要陷我与不仁不义之地；曹操自己也说过，"就让我做个周公就可以了"，意思是，篡汉的事就交给我儿子了，我不放权，也绝不篡汉自立。这事司马懿也进言劝进，劝说曹操应知天命。