话说官渡之战后，昌豨见曹操虽然获胜，但是曹军损失也很惨重，于是借机第二次反叛曹操。曹操派张辽和夏侯渊一起率军前去平叛，结果围了几个月，粮草消耗殆尽，也没能攻下。正在夏侯渊等人商量着要无功而返，退兵的时候，张辽认为昌豨心存犹豫，可以劝降，并且写信给昌豨，结果真的将昌豨一人约了出来进行谈判。谈判后，昌豨同意投降，但是回去以后又犹豫不决。
然而张辽回去已经和夏侯渊等人报告了和昌豨谈判的结果，却迟迟等不到昌豨前来投降。张辽感到昌豨之所以犹豫是因为曹军没有表现出诚意，昌豨担心被忽悠，因此作出了一个大胆的决定，要只身上山再次前去劝降。
之所以说这是一个大胆的决定，是因为上次谈判是双方的人约在一个中间地点会面并谈判，而这次则是张辽要一个人前往昌豨的阵营中去，身为统军大将只身犯险可以说是需要很大的胆识和魄力的。
夏侯渊并不太赞成张辽亲自只身前往，但是张辽满怀信心，认为不会有危险，如果真出了意外，让夏侯渊只管按照自己的判断，该撤军撤军，不必有所顾虑。
于是张辽便随身带上一点礼物，只身前往昌豨大营，上了三公山，到了昌豨家中，并且拜望了昌豨的妻子家人，昌豨见张辽如此坦诚相对，心中欢喜，便跟随张辽下山投降，前去见曹操了。
曹操这次又放过了昌豨，先让他回东海郡，随后训责张辽说：“只身赴敌巢穴，这不是大将所为。”张辽却拜答道：“凭着明公达于四海的威望，我拿着圣旨，昌豨必然不敢害我，所以我才敢去。”
官渡之战后，曹操这边在忙着平叛，战败的袁绍回到冀州后，也忙着平定各地的叛乱。全部平定之后，由于官渡之战是袁绍占据了巨大兵力优势而被曹操以少胜多而击败的，这便成了袁绍的心病，结果袁绍因此一病不起。终于在建安七年（202年）夏五月二十八日（6月28日），袁绍病死在了邺城。
袁绍死后，由于没有留下明确的遗嘱指定继承人，袁谭想要以长子身份默认继承，然而袁绍生前宠爱老三袁尚，加上审配等人与袁谭及辛评不合，于是假作袁绍遗诏立袁尚为嗣。而袁氏集团也就正式分为支持袁谭和袁尚的两派。
看到袁氏集团发生分裂，曹操抓住时机，再次带着张辽等众将出兵前往进攻黎阳。面对曹操的进攻，袁谭和袁尚兄弟顾不上内斗，只好暂时团结起来一致对外，由袁谭率兵在黎阳负责抵御曹操，袁尚在大本营邺县坐镇。
面对曹军的进攻，袁谭向袁尚求援，袁尚担心给袁谭太多兵力，会对自己的地位造成威胁，于是派审配留守邺城，自己亲自领兵前往黎阳救援。然而面对曹军的猛攻，袁氏兄弟守不住，兵败而逃，逃回了邺城死守。这期间，张辽由于作战积极勇猛，累计战功，行（代理）中坚将军。
建安八年（203年），攻下黎阳的曹操顺势乘胜进攻袁尚的邺城，袁尚和袁谭同力抵抗，坚壁死守。邺城毕竟是袁绍经营了多年的大本营，曹军久攻不下。因此曹操采纳郭嘉的计策，暂时先撤兵返还许都，让袁谭和袁尚不再有外部压力而再次内斗。同时令张辽和乐进一起攻下了阴安城，并把当地百姓迁移到黄河以南。
曹操一撤军，袁氏兄弟那边果然闹翻，袁谭兵少，打不过袁尚，竟然向曹操求援，并且把自己的女儿许配给了曹操的一个儿子。曹操顺势出兵，张辽也跟随再次攻打邺城，这次曹操采取了围城打援的策略，先在邺城外挖下深沟然后灌水，断绝了邺城的所有水源和粮道，将邺城围城了孤城，在外面进攻大哥袁谭的袁尚得到消息赶回来救援，结果在邺城外被曹操彻底击败。
失去救援的邺城，又经过了长时间的围城，苦等不来援军，最终终于破城。曹操大军进驻邺城后，张辽又被派出去巡视赵国、常山地区，招降了缘山一带的贼众及黑山贼孙轻等部众。
巡视回来后，曹操主力兵马修整完毕，见到张辽顺利完成任务回来复命，于是曹操谴责袁谭在邺城被围期间擅自扩张自己的领地范围攻打袁尚，和袁谭翻脸。张辽又马不停蹄的跟随曹操前去讨伐袁谭。
袁谭哪里是曹操大军的对手，因而一路败退，终于在建安十年（205年），袁谭被彻底击败，在战场上装疯逃跑的时候被曹军追上斩杀。此后，张辽又再次受命安抚海滨一带，这个地区不仅仅是袁氏集团的势力范围，还有部分地区属于辽东公孙度。在袁氏集团和曹操进行战争的这个期间，公孙度浑水摸鱼趁机扩大自己在海滨一带的势力范围，并任命了营州刺史柳毅驻守在这里。于是张辽将柳毅击败，并与长广太守何夔合兵讨平了当地的小势力从钱等，彻底平定了滨海地区。
对于曹操分配的任务，张辽每次都能独当一面。因此，曹操对于自己手下能有这样的部将深感喜悦和欣慰，于是上表汉献帝，称赞张辽和于禁、乐进说：“他们武力强大，计谋周全，品性忠正，操守高洁。每次征战，身先士卒，勇猛顽强，无坚不摧；亲自擂动战鼓，忘了疲倦。他们单独领兵征讨，统率全军，抚慰将士，纪律严明，秋毫无犯；临敌决策，没有失误。论功记职，应该给予显要荣宠。”
收复东莱诸县后的张辽引军还邺城，曹操亲自出城迎接，并邀请他同乘一辆车，终于正式任命他为荡寇将军。
建安十一年（206年），由于张辽在统军作战方面表现出众，完全可以独当一面，因此被曹操调回许都，率军攻打荆州，平定了江夏诸县，回来的时候，在临颖屯兵，受封为都亭侯。
完成了平定江夏任务的第二年，张辽被曹操再次调回到身边，继续向北彻底剿灭逃奔袁熙所在地的袁尚，结果袁熙的部将焦触和张南见到袁氏集团大势已去，率军反叛，攻击袁熙和袁尚兄弟，而后投降了曹操。这兄弟俩再次向北逃窜，进入了乌桓的柳城。面对这种局面，曹操准备继续追击，这时张辽的军功和威望以及曹操对他的信任和欣赏，使得众将以他为代表，站出来提出了不同意见！