谢五郎下场不好，连姨娘、谢大郎、谢四郎等人下场就更不好了。
谢大老爷谋给他们的财产，被皇帝抢回去，给了谢五郎，他们自然就没钱了，然后谢大老爷也没官职了，没了经济来源的他们，生活自然就出现了问题。
困顿的生活，让谢大老爷开始后悔当初不该宠妾灭妻，要早知道新皇竟然这样在意这事，打死他也不敢干的，肯定会哄着谢安然和谢大夫人，而不会对她们那样差，毕竟谁让他一直觉得，他那个外孙，一个大男人，对内宅的事不会多管呢，哪知道人家就会管呢，而且一管还管的这样狠，竟然将他的官撤了，转移的财产也弄走了，让他一无所有呢，要早知道人家会这样，他又不傻，自然不会这样做。
不过这会儿事情已经这样了，他再后悔也没用了。
就连谢三娘都受到了影响。
朝廷上有人弹劾她父亲宠妾灭妻，要是新皇没处理也就罢了，偏偏新皇处理了，于是她在英国公府的地位就尴尬了起来。
一些人趋利避害，怕皇帝会迁怒英国公府，所以以前对她还不错的人，现在对她就开始冷淡起来。
一些人早就看不惯她家人在谢家的所作所为，只是以前不敢得罪她，现在看她落魄了，也就敢嘲笑她了。