在小说《三国演义》中，徐庶虽然出现的时间极短，但是地位却是极为重要，甚至有人认为徐庶的才能与诸葛亮、庞统等人相差无几；而后来徐庶为了救母而不得不离开刘备而去投靠曹操，更是让无数人对徐庶这个悲壮的孝子充满着好感。但最为关键的是，徐庶离开刘备后，发誓不对曹操献一计一策，从而被认为是与关羽齐名的忠臣。
在《三国演义》中，徐庶出场是在公元201年，刘备被曹操击败而南下依附刘表，刘表让刘备于新野驻扎抵御曹操。当时徐庶认为刘备是刘皇叔汉室皇亲，而且信义著于四海，于是就前往投奔，刘备见徐庶后，非常器重他。
曹操见原本被自己压制的刘备如今又逐渐崛起了，竟让自己屡次受挫，就开始去新野打探情报，最终得知他得到了能人徐庶的辅助，为此曹操十分担忧，生怕刘备刘表的强强联合，自己就无法染指荆州了。为此他的手下为其献上一计，以徐庶母亲为要挟，以达到让徐庶去投奔他的目的。
徐庶母亲眼看着儿子弃明投暗，恨他投降，便自杀了，徐庶得知母亲去世的消息后，深恨曹操，所以虽然身在曹营，却没为曹操献一条计策。所以也才有了"身在曹营心在汉"的典故和"徐庶进曹营——一言不发"的歇后语。
而曹操也是拿徐庶无可奈何，本来徐庶就是被迫来投的，而且自己也的确理亏，所以也就任由徐庶去了，就当是养了一个闲人。
在公元208年，赤壁之战爆发，曹操将徐庶也带在身边一起南下。而庞统向曹操所献的连环计被徐庶一眼看穿，但因为徐庶是身在曹营心在汉，所以他并没有向曹操表明。他不但没有表明，更是在庞统的策划下，在曹营内散布说西凉马腾韩遂起兵造反，杀往许昌去了。
在曹操听到此消息不知所措时，徐庶向曹操提出他可以带领三千兵马，以臧霸为先锋去后方平定战乱，曹操在大乱之间也就答应了。就这样，徐庶带着昔日吕布的部将臧霸逃离了曹操的管辖。
而赤壁之战大败的原因也就是因为当时的曹操在做决策时犯了一些错误，众多原因最终导致了赤壁之战大败。所以徐庶为了逃离曹营可以说是苦心孤诣了。
