才刚开始溃逃，城下町阵地上的吴军将士马上就发起了反攻，撵着日军的屁股穷追猛打，拼命射杀掉队落单的日军士兵，紧咬住日军败兵大队不放。同时鹿儿岛城的城门大开，李秀成亲自率军杀出城来，带着留守鹿儿岛城的吴军将士发起全面反攻，还直接冲向了兵力数倍于己的日军主力。
李秀成军的反攻肯定冲不溃日军大队，这一点李秀成和日军指挥官都非常清楚，但日军主帅心里又非常清楚，知道吴军全面反攻的目的不是为了打败自军，而是为了牵制住自军主力，不给自军从容撤退的机会，为吴军主力登陆参战争取时间。所以桂小五郎和岛津久光等人也没有多余选择，只能是抓紧时间重新整队，准备以严整的队形且战且退，迅速撤回地势险峻利于坚守的伊敷别院。
战场局势因此发生了翻天覆地的变化，兵力处于弱势的吴军以横队快进，快速推进至日军阵地前开枪射击，前排打完后排立即补上，努力保持与日军之间的距离；日军方面则是一边回头迎战，一边尽量的大步前进，脚步匆匆的撤向西北来路；同时此前抢先发起追击的两个营吴军也紧咬住日军主力的两翼，让日军不敢前后脱节，努力牵制住日军主力的撤退速度。
在此期间，两军将士的枪响一直不断，不断有