为护卫共乘一车。
刘启问：“你晓得为什么能和我同乘一车吗？”
卫绾说：“我是代郡的戏车之人，侥幸因功升为中郎将。我不知道为什么。”
“我做皇太子设宴，召请你，为什么不肯来？”
卫绾回答：“真是死罪，我病了。”
病了？搁别人，皇太子宴请，不是病得剩半口气，撑着也得去巴结未来天子呀！
卫绾这种忠于皇帝、心无旁骛、行事谨慎的品质，也打动了景帝刘启。
景帝为拉拢赐剑，卫绾却说：“先帝已赐给我六柄剑了，臣不敢再接受赏赐。”
景帝很惊讶地问：“很多人，皇帝赐剑后，拿去换田地生利。难道你还把那些剑保存至今么？”
卫绾说：“臣都保留着。”
取来六柄剑看，剑都在鞘中，不曾取用过。
刘启感慨卫绾之忠诚，命其为河间王刘德太傅。刘德是栗姬第二子，太子刘荣之弟。
卫绾以其忠诚敦厚谨慎，没有其他杂念而得文景二帝信任。更因文帝遗言“雄主”和景帝属意刘小猪为继承人，在废黜太子之争上，坚定支持追随景帝。
在景帝刘启病重临危时，王娡命卫绾到北军接管卫尉，卫绾奉命行事。