然而令粤军没想到的是，衡州乃是衡王昭賨的地盘。昭賨是跟着其兄常年征战，属下都是能征善战之辈，非其他地方军士所能比。之前三千人守桂阳，粤军动用两万人打了十几天才打下。要从桂阳到衡州，必经耒阳，昭賨在耒阳设有军寨，留有三千人马。
粤军本想绕过耒阳，直接进攻衡州，却几次被耒阳守军偷袭了后路，使其主帅大怒，反过头来必要消灭耒阳守军。
耒阳守军驻扎在鹿岐峰上，前临耒水。如要击灭守军，需东渡耒水。粤军主帅手握五万大军，心想对方不过三千人，就是每人吐口唾沫都能将其淹死，只需一阵就能将其歼灭。遂令两万人渡河结营，自率三万人在西岸结营。
粤军早间渡河，除了留下结营之人，其余的人立即进攻鹿岐峰。然而此地楚军常年驻扎经营，已经搭建了许多防御之地，使得粤军首次进攻失败。
柳霏霏行军途中早已打探清楚了形势，到达衡州后并未进城停留，立即渡过湘江直奔耒阳。
衡州离耒阳不过几十里，半日时间便到。柳霏霏抵达衡州时已是下午，再疾行半日，在离耒阳三十里左右的地方天色已经大黑。柳霏霏令士兵休息，吃饼充饥，并派出斥候渡过耒水前往鹿岐峰与守军联系。
柳霏霏待士兵休息一个时辰后，又继续前行，在离粤军约十里的地方停下，并命人刺探粤军消息。
此时已过丑时，粤军除了一些守夜的士兵还在活动之外，其他基本已经休息。柳霏霏心想：“我们一路行军过来，粤军不可能不知。此刻却并无防备，想是以为我不会夜里行军。看来这个统帅和孙羽是一类人。”
柳霏霏对众将说道：“粤军将队伍一分为二，分在耒水两岸，本就犯了兵家大忌，如此一来我们要对付起来也就容易一些。东岸的粤军就交给耒阳守军，他们人虽然少，但是要大乱粤军还是可以。西岸粤军就有我们来解决，他驻扎河边，我们由两边进攻，形成关门打狗之势，务必要多杀伤敌人。”遂将队伍分成两队，分两边向粤军进攻。
粤军此时大多熟睡，哪里料到楚军回来攻击，很多还没明白是怎么回事就已经身首异处了。两边楚军犹如饿虎扑食一般的冲向粤军军营，见人就杀。冲杀一阵后粤军在反应过来，立即起身迎敌。但是此事楚军气势已盛，士兵都杀红了眼，粤军虽然人数占优，却没有气势，只管夺路而逃，哪里有路就往哪里跑，只恨爹娘少生了一只脚，嫌跑的不够快。甚至有些人往河里跑，想要跑到对岸去。