杨慕远率军西行数日后，就和李唐的两千先锋部队遭遇。杨慕远厉声喝道：“来者何人？为何无故侵入我州？”李唐上前答道：“我是武安军马大帅麾下先锋大将李唐。你们不听号令，特来问罪。你又是何人？”杨慕远答道：“我是衡州刺史的三弟杨慕远，你们快快退回，否则叫你们丧命于此。”李唐哈哈大笑数声，说道：“井底之蛙，竟敢口出狂言。我倒是要劝你立刻下马投降，否则让你尸骨无存！”
杨慕远勃然大怒，又见李唐兵马不多，当即挥军掩杀过来。他打算以多欺少，以众击寡，速战速决。李唐久经沙场，不慌不忙列阵相迎，并派人知会后面不远的李琼。李唐和杨慕远两军，展开混战。衡州兵优势在人多，潭州兵却经验丰富，战力强悍。两军厮杀了一个多时辰，难分胜负。
杨慕远见状，亲自挥刀跃马，冲杀过来。这边李唐催马挺枪，迎住杨慕远。两人大战十余回合，难分伯仲。正在双方鏖战之际，李琼率领五千主力赶到。李琼一声令下，全军出动，把衡州兵包围了起来。局面瞬间扭转，本来以多欺少的衡州兵，现在被优势兵力的李琼所部反包围在中间。
衡州兵毕竟没有经历过恶战。战事顺利的话，他们还有些战意和战力。但一旦陷入不利局面，这些士卒顿生退意。那杨慕远正在和李唐鏖战，突然见敌军增多，心生怯意。他这一分神，李唐抓住机会，一枪把杨慕远挑落马下。
李琼见李唐得手，随即大声喝道：“你们主将已死，还不放下兵器投降？”衡州兵一见杨慕远被杀，顿时斗志全消，纷纷抛下兵刃，跪地投降。李琼把这些降兵分散编入各营，继续向衡州进军。数日后，大军兵临城下。这时秦彦晖也率军赶到，和李琼会师。
原来那杨学远北上之后，自知不是对手，不敢正面迎战。杨学远依托衡山，在要道上安营扎寨，准备坚守不出。不久秦彦晖大军来到，随即列阵挑战。杨学远严令不许出战，秦彦晖求战不成，只得强攻。然后衡山地势险要，秦彦晖猛攻一日，毫无收获，只得收兵回营。
到了夜间，秦彦晖思得一计，让刘勍带领一支精兵趁着夜色，在当地人的引领下，从山间小路绕到了杨学远山寨的背后。刘勍把士卒分为数股，到处放火，四下呐喊。与此同时，秦彦晖在正面连夜攻打。杨学远的部下大多是没有经历过恶战的新兵，如果只是让他们据寨死守，他们到是能够尽力而为。
衡州的士卒突然见到寨后火起，杀声一片，顿时心慌意乱，哪里还有心思去防守正面拼命来攻的武安军？不久之后，武安军的士卒就攻上来山寨，衡州兵四散奔逃。杨学远见大势已去，只得带着残兵向衡州逃去。正走之际，路边突然杀出一员大将，正是一早就埋伏好的刘勍。杨学远措手不及，被刘勍一刀劈落马下。
秦彦晖攻占衡山之后，留下少量人马驻守，在衡州降兵的指引下，很快来到了衡州城，却见李琼已经先到。两人一商议，当即在衡州城下列阵挑战。杨师远见