“撤！快撤！”潘金盛下令义军全线收缩，退至楚军的火炮射程之外。义军一口气跑了三四里，潘金盛回头一看，也没有见到楚军的半个影子，才命令部队停止退却，就地休息。
奇怪了！吕师周并没有打开城门乘胜追击。吕师周乃马殷之悍将，楚军马步军都指挥使、邵州刺史，多次与飞山峒义军交手，熟悉其战法，一旦进入山区，被伏击暂且不说，火炮发挥不了威力，只能近战，深山密林占不到任何便宜，故不追杀。
于是，潘金盛得以保存实力，退守飞山峒，全线防御。飞山，乃山峰也，位于诚州（今靖县）西郊，海拔744米。人们说山顶上三座峰是从佛教四大名山之一的四川“峨嵋山”万佛顶飞来的。
此山形如钟鼎，又似皇冠，山顶平旷，双峰突兀，直刺云天，登临其上，可收田园山川于眼底，赏清风明月于云端。易守难攻，欲攻打飞山，一般武将都无法做到。
故万历十年黎靖参将邓子龙登靖州飞山题诗曰：南来倚剑上岩尧,，满眼烽烟坐里消。神 器自如无鬼蛾，飘遥何处有天骄。岩飞瀑气披深洞，风送钟声下远苗。西望六百八十穴，我欲一扫归天朝。
自此，飞山峒蛮和南楚军结恶。而潘金盛很是不服，时刻想着