霍光听了田延年的话后，朝他施了一礼，说道：“九卿责光是也。天下匈匈不安，光当受难。”
话说到了这地步，文武百官也已经没有办法了，现在退缩现在就得死，不想死就只能附议了。
于是，群臣纷纷叩头，说道：“万姓之命在于将军，唯大将军令。”
霍光与群臣“商议”已定，旋即一起进宫觐见太后，将昌邑王刘贺不能为帝的理由一一向太后陈述。
这个掌握着“废立之权”的太后复姓上官，是霍光长女和上官桀的儿子所生的女儿，说白了就是霍光的外孙女，而且如今也才15岁的年纪。
上官太后对外公霍光的奏请自然不会驳回，当即下令各宫门不许放昌邑王的潜邸旧臣进入，之后又召见昌邑王。
等到刘贺抵达之后，霍光等百官就开始在太后面前宣读刘贺的“罪状”：陛下……荒淫迷惑，失帝王礼仪，乱汉制度，……当废。
皇太后下诏道：“可。”
霍光当即让刘贺起身跪拜，接受诏令。
刘贺到此刻还是有些不敢相信，他对霍光说道：“闻天子有争臣七人，虽无道不失天下。”
意思是说，我曾听说天子身边只要有七个诤谏之臣，即使无道也不会丧失天下。
霍光冷冷地说道：“皇太后诏废，安得天子！”
皇太后都已经下诏把你给废了，你还算什么天子？
随后，他便上前抓住刘贺的手，解下他身上的玺绶，呈给太后，紧接着扶着刘贺下殿，出金马门，群臣也紧随其后，跟着送了出去。
刘贺此刻也知道事不可挽回，只好向西跪拜，自嘲似的说了一句：“愚戆（[gàng]）不任汉事。”
起身之后，他丝毫不留恋，转身就登上了皇帝侍从的车辆。
霍光把刘贺送到昌邑府邸后，告罪道：“您的行为使自己被上天弃绝，我们无能，不能以死来报答您。我宁可对不起您，不能对不起国家。希望您保重，我永远不会再见到您了。”
说完，他便哭着离开了。
刘贺当了27天的皇帝，就被赶下了皇位，成为了汉朝历史上在位时间最短的皇帝。
当初，拥立他坐上皇位的，是权臣霍光；如今，策划并且推动废掉他的人，依旧是权臣霍光。
被废之后不久，皇太后下令让刘贺回归昌邑，并赐给他汤沐邑二千户。
而跟随刘贺从昌邑国来到长安的那两百多旧臣，只留下了三个人，剩下的全都被诛杀了。
这些在出狱受刑的时候，在路上大声呼号：“当断不断，反受其乱！”
谁也不知道，这些人行刑之前喊这些话，到底是什么意思，或许这些话里，也有包含了对刘贺的失望之情？
然而，这些都已经不重要了。
刘贺被废后，霍光痛定思痛，左思右想，最终拥立汉武帝曾孙刘询为皇帝，是为汉宣帝。
汉宣帝即位后，对刘贺忌惮不已，还专门诏令山阳太守监视刘贺。
元康三年（前63年）三月，已经确定刘贺不值得忌惮的汉宣帝下诏，封刘贺为海昏侯，食邑四千户。
一个月后，刘贺前往其封地海昏就国。
海昏，实际上是豫章郡下辖的一个县。
原以为这辈子就这么平平淡淡地过下去了，谁知道，几年之后，刘贺与故太守卒史孙万世往来一事，被扬州刺史柯奏报了上去。
汉宣帝大怒之下，下令削去刘贺三千户食邑。
神爵三年（前59年），封侯四年的刘贺郁郁而终，享年33岁。
这一位史上最“窝囊”的皇帝，也终于结束了他仓促的一生。