地为官为吏的族人全部辞官归故里，回到了遥远偏僻荒凉的云州。
走之前把京城的宅子产业一并卖光，此后与京中的出嫁女和姻亲故旧全部断绝关系，生死不问，再无任何往来。
杜家从此再没了前途可奔，族人只做富贵闲人混日子，老祖也成了闲云野鹤，甚至迷上修行问道。
虽然天佑帝并未明说不许杜氏科举，但是杜家人沮丧沉沦之后，虽然仍旧办了族学，却对子弟的学业放任自流，子弟也渐渐游手好闲，安心做富贵闲人，有出息的越来越少。
几代下来，也有天资聪颖喜读书的，考中举人之后也自觉放弃了科举做富贵闲人，比如杜至谦，这也是他后来冒着抄家灭族的风险投奔柴诺父子的根本原因。
叶婉云出生在西南之地的叶氏家族，早已家族没落人丁调零四处散居。
幸好其父善于打理庶务，母亲出身商户嫁妆颇丰，一家人倒也丰衣足食，只是不时要应付上门打秋风的亲戚族人。
三岁时叶父叶母先后病故，又没有什么可靠的族亲，只有奶娘林妈一家不离不弃，却因为奴才身份无法对抗想谋夺家产的族人。
幸好还有一个嫡亲的姑母，不但想方设法保全了家财给她做嫁妆，还把她带到夫家肖氏家族抚