似道从临安出发前往芜湖御敌，大败。殷恂则循原路退至歙县，遂定居于县城南门。其后几代在地方上名望颇隆。但到了十世孙殷正茂时，殷氏家族已颇为寥落了。
嘉靖二十六年时，苦读群经多年、已经三十四岁的殷正茂，终于高中进士，这给业已衰落许久的殷氏家族带来了新的辉煌和希望。由于名次靠前，不久升为兵科给事中。
殷正茂早年其实是以不畏权贵、正直敢言的形象在朝廷中头角初露，引起内阁注意的。所以不久后，就被外放锻炼，历任广西、云南、湖广兵备副使，再迁江西按察使。
因为早年颇有正直敢言的美名，当时殷正茂与张居正这位同年的关系还算不错，不说相交甚厚，至少也是关系亲近。后来张居正得徐阶所独重，竟而由翰林学士直接入阁，殷正茂便更是经常与张居正书函往返，说是政治盟友并不为过。
不过，可能是因为自认负有重振家族之任，殷正茂外放之后虽然能力出众，尤其精于断案和兵事，但对于钱财却越来越看重。其为官是否造福一方不好说，但对治下百姓还算不错，办案也称得上公正，使许多受冤之人得到清白。只是对于属下的孝敬，殷正茂却是来者不拒，甚至还会主动暗示。其贪鄙之名，也是源自于此。