然不敢害我。所以我才这么做。”
通过张辽的成功劝降，东海郡在此后保持了长达5年的平静。此时，黄河以北的袁氏势力依然强大。直到5年之后，曹操平定了冀州并打垮了袁氏，统治东海郡的昌豨才再次发起叛乱。
从攻袁氏
建安七年（202年），张辽从讨袁谭、袁尚于黎阳时，累有功劳，行中坚将军。
建安八年（203年），曹操攻袁尚于邺城，袁尚坚壁守垒，曹军久攻不下。因此曹操采纳郭嘉之计让二袁自行内斗而先还许都，同时令张辽与乐进攻拔阴安，把当地百姓迁移到黄河以南。
建安九年（204年）二月，袁尚再次攻打袁谭，张辽再次跟从曹操攻打邺城。[48]袁尚回军救援邺城，被曹操所破。袁谭趁机夺取了原属袁尚的冀州东部。
独领一军
建安九年（204年）八月，邺城被攻破后，张辽独领一军向北攻占赵国、常山二郡（“徇”的含义是攻占）曹操亲率主力向东攻打袁谭。张辽招降了那些靠近太行山边缘的诸多贼众及黑山军的孙轻等，此后，张辽跟从曹操攻击袁谭。
建安十年（205年），袁谭败亡后，张辽独领一军攻占沿海数郡的海滨地带，攻破辽东军阀公孙度所置的营州刺史柳毅。又与长广太守何夔合兵平定了矣平的从钱等人。
建安十一年（206年），收复东莱郡诸县后的张辽引军还邺城。曹操亲自出城迎接，邀请张辽同乘一辆车，并任命张辽为荡寇将军。
张辽再次独领一军攻打荆州，平定江夏诸县，引军还，屯兵在临颍县，受封为都亭侯。
大破乌桓
建安十二年（207年），曹操要征讨在柳城的袁尚、袁熙与乌桓。张辽进谏：“许都，是天子所在的地方。现今，天子就在许都，曹公北征甚远，若刘表派遣刘备攻击许都，占据它而号令四方，明公您大势去矣。”曹操推测刘表必不能任用刘备，于是，大军出征。
八月，曹操带领先锋部队登上白狼山，突然与敌兵遭遇。敌人的数量很多。当时，曹操军队的主力重兵还在后方，尚未到达前线，而曹操身边只有少量的军队。曹军将士们希望等待后续部队，并对当前的危险局面都感到恐惧。
在“左右皆惧”的曹军氛围中，张辽力排众议，反对畏敌不前，极力劝说曹操应当趁着胡虏的阵势不整，立刻进行交战，而不是等待后援。张辽劝战时的语气非常振奋。曹操十分欣赏张辽的雄壮斗志，又看见乌桓的军队尚未排好战斗阵形，于是，采纳了张辽的建议。曹操亲自将自己所持的麾，授予给张辽暂用，于是张辽与张郃、曹纯等人攻击敌军，并临阵斩杀了以骁武著称的乌桓单于蹋顿。曹操“自以所持麾授辽”。《淮南子·主术训》：“军之持麾者，妄指则乱矣”，说明，“持麾”的作用在于“指”，张辽负责白狼山之战的临阵指挥。《魏武军令》：“麾前则前，麾后则后