差五训斥刘邦：“你看你二哥干活多么勤劳！哪像你？整天无所事事，在外面干混，外面都说你是无赖！这样下去，不仅娶不到老婆，迟早活活饿死！就不知道成熟一些？只有勤劳才能致富！这么简单的道理，你为何就不懂呢？”
“踏踏实实当一个普通人不好吗？我知道的你心很大，不愿意当一个普通人，但你并非王侯之子，你只是一个普通人而已，也不可能做出什么事业！难道还真以为你能创出一番天地不成？认命吧！”
“兄弟几个里，我最疼爱你，对你的关心和教导最多，可是没想到，你居然是你们弟兄之中最没有出息的人！”
这个时期的刘邦自然无法反驳，只能低头挨训。
等到日后刘邦当上皇帝后。
他在未央宫摆设酒宴为老父亲祝寿。
然后端着玉制成的酒杯询问父亲：“年轻的时候您总说我是无赖，不能治产业，没有二哥赚取钱财的本领。如今我当上了皇帝，您觉得我和二哥谁的家业更多呢？”
刘老太公愕然无语。
除了这个事情之外，还有一个故事。
这一时期的刘邦，因为经常带着自己的‘门客’回家白吃白喝，所以家里大嫂对这位小叔子和他那帮朋友都很厌恶。