投陈兰，二人转入灊山自守。灊山中有天柱山，高峻约有二十馀里，道路险狭，陈兰等众避于其上，山下进军难通。张辽意欲登山进兵，诸将皆说：“此山道路险恶，我军兵少，很难可以深入用兵。”张辽却说：“这正是所谓‘一与一，勇者得前耳’”于是进至山下安营，起兵上山攻击，终于斩下陈兰、梅成首级，尽虏其众。曹操论诸将功劳，说：“登上天山，踏过险峻，成功讨取陈兰、梅成，都是荡寇将军的功劳。”于是增其邑，假节。
当曹操征孙权无功而还时，任命张辽与乐进、李典等部领七千馀人马屯守于合肥。
建安十八年，与臧霸同为征濡须口的前锋，攻破孙权江西营，擒获孙权都督公孙阳。
建安十九年，孙权大将吕蒙奇袭攻下庐江的皖城，张辽在增援途中得知皖城失守，无奈被迫退军。
建安二十年，曹操往征张鲁，让护军薛悌给张辽送去一封信函，让张辽在有敌人来攻时再打开来看。不久东吴孙权率领十万大军进围合肥，张辽与诸将打开信，信中说：“若孙权军来到，张、李将军出战；乐将军守护军，不得与战。”但是诸将不理解其中的意思，张辽与李典消除诸将的疑惑，整军备战。
于是张辽在夜间募集敢于迎战的精锐将士八百人，开剥牛羊让将士饱食，准备明日大战。天未亮时，张辽被甲持戟，独自先登直陷敌阵，亲手斩杀了孙权军队的数十人和两名将领，并于阵中大呼自己的名号，然后突击冲入重垒，直至孙权麾旗之下。孙权见状大惊，东吴军将手足无措，不知所为，只得走登于高丘之上，用长戟自卫。张辽见敌军退避，便叱喝孙权，挑衅他下来对战，但孙权没有轻举妄动，随后孙权发现张辽所率领的士兵非常少，于是聚拢士兵将张辽包围。张辽在吴阵中左冲右突围，率领麾下数十人得以突出重围。但阵中仍然有没突围出来的将士，他们向张辽大喊呼道：“将军舍弃我们了吗！”张辽又杀入重围，救出被围困的众人。孙权人马皆望风披靡，没有人敢抵挡张辽。江东名将陈武也在此战中被击杀。
从早晨战至日中，吴军锐气为张辽所夺，曹军此时还城修业进行守备，众心方才安定下来，诸将对张辽所为均表示叹服。孙权攻打合肥十馀日，始终攻不下来，于是还军退师，张辽率诸军乘势追击，几乎捉住孙权。曹操闻此，对张辽的表现大加赞许，并拜张辽为征东将军。
建安二十一年，曹操再征孙权。军到合肥，曹操循行视察昔日张辽作战的地方，赞叹良久。于是给张辽增兵，多留诸军徙屯居巢。
建安二十二年，曹操攻濡须口，孙权请降，留夏侯惇、曹仁、张辽等屯居巢。
建安二十四年，关羽围曹仁于樊城，适时孙权称藩于魏，为了让孙权安心攻打荆州，于是曹操召张辽及诸军悉数回救曹仁。张辽尚未到达，徐晃已经打败关羽。张辽便与曹操会师摩陂，曹操乘车出来慰劳他，并派他屯于陈郡。
建安二十五年，曹操去世，曹丕