吴军乘机追击，二是对赵金福有言在先，黄文金才没有立即退兵。同时在内心深处，黄文金还有些希望奇迹能够出现，让赵金福在最后关头答应让自军进城——毕竟，和只能收点过路费的无为城比起来，铜陵的钱粮要丰足得多，长期坚守的希望也更大一些。
很可惜，奇迹始终没有出现，相反倒是已经和黄文金不共戴天的池州太平军残部在下午时进驻了铜陵城，黄文金当然是大失所望。同时对于吴军放弃攻打铜官山这个意外变化，黄文金虽然也一度生疑，然而探听到吴军遣使上山招降的消息后，黄文金又疑心尽消，不再怀疑吴军此举是为了针对自己，也益发坚定了连夜撤走的决心。——再不赶紧走，如果赵家兄弟真有什么动摇，黄文金麾下这最后两千多嫡系全都得死无葬身之地！
在这样的背景情况下，到了傍晚六点过后天色全黑，始终不见赵金福派人来请自己进城，心灰意冷到了极点的黄文金也不再多说什么，马上就下令撤军，带着不多的一点粮草弹药连夜出营，走官道直奔无为方向而去。期间黄文金没有派人进城道别，赵金福也没派人来送行，互相都对对方不满到了极点。
在短短三天时间里接连与两支友军不欢而散，颠沛流离的黄文金所部当然上上下下都情绪不高