当面解惑，再得汉王准许，便辞官归田、守着家里那点祖产，浪迹于青楼酒肆之间，不再理会朝政俗事，吟诗作赋岂不美哉？
无论解缙怎么想裹|挟翰林院的官员，也无人响应。其中确有一些人对宫中作为、持质疑者，也不愿意此时跟着解缙去闹。
其中有人受不了，解缙和胡广两个人吵架、却把大伙儿都说成无耻之徒，那人便开始辩解起来：“君子慎独。诸位在寒窗苦读时，多因举族资助，好不容易做了官，却不慎言慎行、随波逐流，那族人的资助和厚望谁来补偿？君子守大义，而舍小节。今太子乃圣上嫡长子、皇太子，又尊孝道、奉皇后懿旨，吾等何必扭住一点小错就苦苦相逼？”
解缙毫无办法，总不能绑了大伙儿一起去，便只好独自走出翰林院，往承天门去了。
过了许久，高贤宁便听到了酉时的钟鼓之声，这是酉时下值的声音。天空的阴霾愈沉，完全没法用太阳来判断时辰，不过城楼上的钟鼓声敲响，众臣便陆陆续续走出衙署，准备回家。
高贤宁走出翰林院，径直就能看到承天门。解缙还在承天门下，城楼上有个宦官喊道：“圣上身边已有金部堂、郭部堂，诸大臣皆圣上旧府近臣，忠心耿耿，您尽管放心。宫中还有诸臣、诸御医、诸言