后来他与戚继光的关系，当然肯定是与平倭有关。
嘉靖三十四年，倭寇屡犯东南沿海一带，烧杀抢掠，无恶不作。朝廷下诏调时任山东都指挥佥事的戚继光任浙江都司佥书，次年升任参将，镇守宁(波)、绍(兴)、台(州)三郡，备倭浙江。此时，谷中虚已任浙江按察使，两位山东老乡于是便有了共事的机会。
谷中虚不同于某些文官，他自认文官负责粮饷和军备理所应当，而军务则该以武臣为主，非万不得已不该干涉。
由于公务之便，谷中虚多次至戚继光军营探望，并与戚继光就一些军事部署、剿除方略等事促膝探讨。其时，谷中虚对江浙一带风土民情更为熟悉，当戚继光为兵力不足之事伤透脑筋之时，谷中虚精辟地指出义乌等地民风彪悍，或能组成一支强力的军队。
嘉靖三十八年，戚继光在谷中虚的鼎力支持下，从浙江金华、义乌等地招募民众近四千人，采用营、官、哨、队四级编制方法编成新型军队。队是基本战斗单位，队员按年龄、体能分别配备不同的兵器，作战时，全队队员各用其所长，配合作战，攻守兼备，进退灵活，这种战斗队形能分能合，人称“鸳鸯阵”。经过戚继光的严格训练，这只新军队伍很快成为军事劲旅，人称“戚家军