自從司馬懿屈從於曹操之後，就遇到對他的人生影響巨大的一個人——曹丕，曹操安排他和曹丕一起遊處。官也越做越大，歷任黃門侍郎、議郎、丞相東曹屬。建安二十年（公元215年），司馬懿跟隨曹操征討張魯，在張魯降曹之後司馬懿進言說"劉備以詐力虜劉璋，蜀人未附而遠爭江陵，此機不可失也。今若曜威漢中，益州震動，進兵臨之，勢必瓦解。因此之勢，易為功力。聖人不能違時，亦不失時矣。"曹操並沒有採納他的意見，"人苦無足，既得隴右，復欲得蜀。"這也是成語得隴望蜀的來歷。
司馬懿的建議從戰略上將應當是對的，那麼曹操為何沒有采納呢。除了曹操對司馬懿有猜忌和防範之心外，也是當時的形勢不允許，曹操何曾不想拿下蜀地，消滅劉備勢力。我們可以看看徵張魯的前後發生了什麼，建安十三年（208），赤壁之戰結束後，三足鼎立的形勢已經確定，曹操也再也沒有能力統一全國，回到許昌之後，馬上設立丞相，鞏固自己的權利，此時的曹操由於實力的增強，已經不想做一位漢室的忠臣，但是也明白漢高祖"高築城、廣積糧、緩稱王"的謀略。建安十七年（212年），荀彧因反對曹操稱魏公而死（一說被迫服毒自盡）；建安十九年（214年），殺死伏皇后以及漢獻帝的兩個兒子；建安二十年（215年），冊封自己的女兒曹節為皇后；同年，征討張魯；建安二十一年（216年），曹操建立魏國，都鄴城，冤殺謀士崔琰；建安二十二年（217年），曹操征討孫權，孫權向曹操稱臣，並上勸進表。從這一系列的行為可以看出曹操此時旨在鞏固自己的政權，清除反對勢力，軍事行動只是提升自己威望的一種手段，他在《讓縣本自明志》中也大膽承認自己是不會放棄權力的。詳細的分析可以參看張作耀先生的《曹操傳》，所以，曹操拒絕了司馬懿的意見。
建安二十一年（216年），魏國建立，司馬懿任太子中庶子，這時已經效力於曹氏八年，一直與曹丕相處，司馬懿選擇站在曹丕一邊，參與了曹丕的眾多大事件，憑藉自己的才華，為曹丕出了不少好主意，深得曹丕的信任和重視。"每與大謀，輒有奇策，為太子所信重。"與陳群、吳質、朱鑠號稱"四友"，其中陳群出生潁川陳氏，陳寔之孫，有突出的治世之才，為曹魏政權的禮制和九品中正製做了重要貢獻，任司空、錄尚書事。吳質為建安七子之一，但出身寒門，在曹丕奪嗣過程中，出了不少計策，曹丕即位後，一直領兵在外，督河北諸軍事。相比較而言，朱鑠的名氣要小很多，後來也成為一名將領，在史書中的記載不多，當為曹丕重要幕僚之一。
建安二十二年（217年），司馬懿跟隨曹操征討孫權，孫權上表乞降，並上勸進表，曹操說"此兒欲踞吾著爐炭上邪！"就是說，這小子想要把我放在火上烤啊，想要陷我與不仁不義之地；曹操自己也說過，"就讓我做個周公就可以了"，意思是，篡漢的事就交給我兒子了，我不放權，也絕不篡漢自立。這事司馬懿也進言勸進，勸說曹操應知天命。
