，吴懿不敢与之硬拼，只得退城固守，但刘备军掺杂了蛮人，攻势异常凶猛，皆不畏死。
以至于吴懿连失酉阳、迁陵、充县三城，一路败逃到沅南一带。
秋末，关羽领军围沅南城，吴懿竭力守之，邓贤、吴兰、雷铜三将相继阵亡，且吴懿也没有守住沅南城，退入了武陵治所临沅城。
时吴懿手下只剩不到三万甲士，吴懿已经做好了向田豫请罪的准备，谁知武陵突遇大雨，冬雨冰冷刺骨，阻挡了关羽进军的步伐。关羽只得退回沅南休整。
次年春，张辽以同境节制为名撤换了吴懿，让张任重新挂帅，统领江关卒对抗关羽。
二月，张任以邓芝、句扶为将主动出击零阳城，战三日，夺回零阳城，吹响反攻的号角。