汉十一年，黥布发动叛乱，皇上患病，想让太子率领军队，前去讨伐叛军。这四个人互相商议说：“我们来京师的目的，就是要保全太子。如果太子率军前去平叛，那么事情就危险了。”于是劝建成侯说：“太子率军打仗，有功劳那么地位也不会超出太子；如果无功而还，那么从此就将遭受灾祸了。况且和太子一起出征的各位将领，都是曾经跟皇上一起平定天下的猛将，如今派太子率领他们，这跟让羊率领狼没什么两样，都不肯为太子卖力，太子肯定不可能建立战功。我们都听说‘母亲被宠爱，儿子就会经常被抱’，如今戚夫人日夜侍奉皇上，赵王如意常常被抱在皇上面前，皇上说‘终归不能让不成器的儿子位居爱子之上’，很明显，赵王如意一定会取代太子的地位了。你为什么不赶紧请吕后找机会向皇上哭着说：‘黥布，是天下的猛将，善于用兵，如今各位将领都是陛下以前的同代人，却让太子率领这些人，这跟让羊率领狼没什么两样，不肯为太子所用，况且让黥布知道了，就会大张旗鼓地向西进军。皇上虽然生病，勉强乘坐辎车，躺着让人护理，各位将领就不敢不尽力。皇上虽然劳苦，但为了妻子儿子还是要勉为其难。”于是吕泽连夜去见吕后，吕后找到机会在皇上面前哭诉，所说的话都是这四个人的意见。皇上说：“我想这小子本来就派不上用场，还是老子自己去吧！”于是皇上亲自率军东进，群臣留守，都送到霸上。留侯有病在身，亲自勉强起来，送到曲邮，拜见皇上说：“我应该跟随，只是病得厉害。楚国人骁勇敏捷，希望皇上不要跟楚国人争夺一时的高低。”趁机劝谏皇上说：“请任命太子为将军，监守关中的军队。”皇上说：“子房虽然有病在身，请勉强卧床辅佐太子。”这时叔孙通做太傅，留侯履行少傅的职责。
汉十二年，皇上打败黥布的叛军，从前线归来，病得更加厉害，越发想改立太子。留侯劝谏，皇上不听，留侯就称病不再理事。太傅叔孙通引用古今事例劝说皇上，以死力保太子。皇上假装答应他，但还是想改立太子。等到宴会时，设置酒席，太子在旁边侍奉皇上。有四个人跟从太子，年纪都有八十多岁，胡须和眉毛雪白，衣冠服饰十分奇特。
皇上觉得很奇怪。问道：“他们是什么人？”四个人上前回答，各自藱n鲎约旱男彰凶龆肮⒔抢锵壬怖镄悖幕乒；噬嫌谑谴缶担�“我寻求诸位好几年，诸位总是逃避我，如今诸位为什么会自动跟我儿子交游呢？”四个人都说：“陛下轻视士人，喜欢谩骂，我们信守道义不愿受辱，所以害怕得逃亡隐藏起来。我们私下听说太子为人仁厚孝顺，态度恭敬，爱慕士人，天下人没有不伸长颈脖愿为太子效死的，所以我们来了。”皇上说：“麻烦诸位始终如一地调教和保护太子吧。”
四个人向皇上祝福完毕，就快步离开了。皇上目送他们离去。召来戚夫人指着四个人说：“我想换太子，可是那四个人辅佐他，太子的羽翼已经丰满，难以更换了。吕后真是你的主人了。”戚夫人哭泣，皇上说：“为我跳段楚舞，我为你唱楚歌。”歌唱道：“鸿鹄高飞，展翅千里。羽翼已成，横跨四海。横跨四海，能奈他何！虽有短箭，还有何用！”连唱了好几遍，戚夫人叹息流泪，皇上起身离去，酒宴作罢。最终没有改立太子，本是留侯召来这四个人发挥了作用。留侯跟随皇上攻打代地，在马邑城下出了个奇计，又建议拜萧何为相国，和高帝在一起从容讨论了许多天下之事，但都跟天下存亡没有太大关系，所以没有记载。留侯于是宣称说：“我家世代担任韩国的丞相，等到韩国被灭，我不吝惜万金的资财，为韩国向强暴的秦国复仇，天下为之震动。如今凭借三寸不烂之舌成为帝王的军师，封邑万户，位列诸侯，这是平民所能达到的极点，对于我张良来说已经满足了。我希望抛弃人间的俗事，想追随赤松子四处遨游。”于是学习辟谷的方法，行气导引以便使自己身体轻灵。
正逢高帝驾崩，吕后感激留侯的功德，就强迫他进食，说：“人生在世，就像白驹过隙一样短暂，何必使自己苦到这种地步呢！”留侯不得已，勉强听从，进用食物。
过了八年，留侯去世，谥号为文成侯，儿子不疑继承侯位。
子房当初在下邳桥上遇见的那个送给他《太公兵法》的老翁，十三年后他随高帝经过济北，果然看到谷城山下那块黄石，就取回来当作最珍贵的宝物加以祭祀。留侯去世，把黄石同他一起下葬。后人每次上坟以及在伏日、腊日祭祀留侯时，一并祭祀黄石。