为拉拢司马懿，他软硬兼施，使司马懿感到恐惧，终于出山，来到曹操身边做官。虽然曹操比司马懿年长20多岁，但司马懿“聪亮明允，刚断英特”，被誉为“非常之器”，其才干不在曹操之下。当这两个强人一见面，矛盾便随之产生了。据说曹操曾做一梦，梦见“三马同食一槽”（三马，指三司马，司马懿、师、昭；槽，曹家也）,这让曹操十分不爽，他对儿子曹丕说：“司马懿非人臣也，必预汝家事！”--关于这个梦，虽然不排除有后人附会之嫌，但曹操见到精明的司马懿之后，在潜意识中产生防范戒备之心也是可能的。
不过在曹操当政之时，司马懿不显山不露水，做事低调，十分谨慎，这是因为他知道曹操的厉害。司马懿工作勤恳，办事谨慎，尽量迎合曹操，讨曹操欢心。司马懿在以下三方面做得非常出色。
第一，办事认真，尽职尽责。
据《晋书·宣帝纪》记载：司马懿“勤于吏职，夜以忘寝，至于刍牧之间，悉皆临履，由是魏武意遂安”。他工作勤勉，夜以继日，甚至连割草放牧这样的小事，全都亲自过问，曹操这才逐渐放心。
第二，曲意迎合，以求好感。
曹操晚年，权势强大，代汉称帝时机日益成熟，可是曹操却坚持不称帝，这表现了曹操顾全大局，具有政治家的胸怀。因为他一旦称帝就会成为众矢之的。其实曹操何尝不想称帝，他只是以理性控制自己的欲望，这正是他的高明之处。司马懿深知曹操的矛盾心理，便有意投其所好，以求好感。
有一年，孙权给曹操写了一封信，建议曹操顺应天命，代汉称帝。曹操一眼看穿了孙权的真实用意，说：“是儿欲踞吾著炉火上耶!”显然，曹操骂孙权是从维护天下稳定这一大局出发的，而内心极力压抑当皇帝的欲望。
当时正在曹操身旁的司马懿也见到了孙权的信，立即说：“汉运垂终，殿下十分天下而有其九，以服事之。（孙）权之称臣，天人之意也。虞（舜）、夏、殷、周不以谦让者，畏天知命也。”此话极力投其所好，让曹操高兴。虽然曹操没有称帝，但司马懿却赢得了曹操的好感。217年，曹丕被立为太子，司马懿被任命为太子中庶子，与曹丕的关系进一步密切。
第三，献计献策，展示才华。
司马懿是才华横溢之人，但他又很清楚曹操的性格。所以他尽量做到既展示才华，又不过分张扬，更不与曹操发生冲突，点到为止，不温不火。这期间，有三件事他做得很漂亮，司马懿的才华也得以表现。
之一，得陇望蜀，具有战略眼光。
建安二十年（215年），他随曹操征讨张鲁。--张鲁原来在益州牧刘焉手下做官，后来被派往汉中驻守。汉中在今陕西南部，是进入四川的必经之路，战略位置十分重要，张鲁到达汉中后，自以为羽翼丰满，便宣布脱离刘焉，建立了割据政权。
曹操认为，张鲁政权的存在对他是个威胁，决定进行征讨。曹军逼近汉中后，张鲁见抵挡不过，便投降了曹操。在张鲁决定向曹操投降的时候，司马懿向曹操建议，说：“刘备以诈力虏刘璋，蜀人未附而远争江陵，此机不可失也。今若曜威汉中，益州震动，进兵临之，势必瓦解。因此之势，易为功力。圣人不能违时，亦不失时矣。”