凌家父子回来后，首先面对的就是大小吴氏。吴氏出自承恩公府。当初老郡王这桩婚事还是由先皇所赐。当年喝药差点而死的那个吴妃就是承恩公家的嫡次女。
吴贵妃进宫里后很得先皇宠爱。凌源志的母亲就是吴贵妃的妹妹。当时吴贵妃看到老郡王少年英雄，就请求先皇给自己的妹妹赐婚。
皇上一想也好，给郡王府定个国公府的小女儿也算是门当户对。况且吴贵妃如此美貌，她的小妹妹也错不了。于是皇上很不负责任地就把婚赐了。
当时郡王府并不想和皇室扯上关系。更不想和后宫的宫妃也扯上关系。可这婚已经赐了。没有办法，老郡王当时还是世子爷，就娶了吴氏为妻。
可是到成婚后，吴氏的性子也就慢慢地暴露出来，自私又不容人。其时吴氏在娘家时，由于是小女儿，又是嫡女，所以养得很是骄横，家里的庶姐庶妹，她众来都不看在眼里。
老郡王并不重女色，家里也就只有一个通房，是个陪自己长大的丫头巧云。在娶了吴氏后，被抬了姨娘。
可就这么一个姨娘，吴氏也不能容忍。当时，凌源志出生后，巧云的避子汤也就停了。后来巧云有孕，吴氏知道后一碗打胎药打掉了还未成型的胎儿。巧云小产