先是春姨娘和许老夫人这一关，许大人都难过。许老夫人和春姨娘都是知道琳知的，从前是绥远夫人身旁的得力助手。因此，她们不喜欢绥远夫人的用时，自然也不喜欢琳知。如今知道许大人的外室竟然是琳知这个小贱人，这让春姨娘和许老夫人如何同意，她们怎么能愿意让琳知进门。
许老夫人更是夸张，在府里对着许大人破口大骂。那嗓门大的，生怕旁人不知道了一样。可如今许大人一意孤行，又怎么能听得进去早已经让他厌烦了的许老夫人和春姨娘的话呢？
比起许珂的刁蛮任性，许蕊和许欣的乖巧懂事，让许大人对琳知的愧疚更深。许大人直接越过许老夫人和春姨娘，去通知绥远夫人让她准备这件事情。
许大人以为，如今事情都闹得这么大了。外面的人人尽皆知，若是绥远夫人不同意琳知和那三个孩子进门，她自己也会被别人说成是妒妇。所以，这一次无论如何他都能顺顺利利的抬了琳知过门。
可许大人实在是没想到，绥远夫人竟是个不顾及外界看法的人。许大人初次同绥远夫人讲的时候，绥远夫人就不乐意，后来事情越拖越久，许大人也没了耐心。直接让人把琳知和三个孩子带到了府上，召集众人在旁，逼迫绥远夫人喝了琳知的妾室茶。