這樣的人，想必應該還是有點野心的吧。
所以，他才會在第二天中午就匆忙踏上了趕往長安的路。
但他同時也只是個十幾歲的公子哥，任性和好玩依舊是他性格的底色。
不然他也做不出在路上依然大肆採買，甚至私藏美麗的女子。
可他也不完全是個傻的。
他到了皇城之後，必然是明白這裡的權力結構的，彼時霍光早已誅殺了政敵，一家獨大，最關鍵的是，作為此刻整個皇城的最高權力者，也就是先帝劉弗陵的皇后，此時的上官太后，正是霍光的外孫女。
整個皇城都被霍光把持的密不透風。
劉賀顯然是壓抑的，他知道自己想要掌握實權就必須動搖霍光的黨羽，可是思來想去，他還是下了一步錯棋。
他動了長樂宮的宮廷禁衛，換成了自己的人。
而長樂宮是上官皇太后的寢宮，她擁有高於皇上的最終決策權，而實際上她也受到霍光控制。
所以，動了長樂宮的禁衛，就等於直接觸碰了霍光的逆鱗。
霍光立即行動了起來。
他找到了當時權利在他之下第二高的人，也就是丞相。
根據漢書記載，丞相當時看到霍光來找自己，嚇得渾身哆嗦。
而丞相的夫人，也就是著名史學家司馬遷的女兒，見自家丈夫如此恐懼，就在霍光離席更衣的時候對他說一定要趕緊同意，否則恐怕小命就沒了。
丞相就這樣答應了霍光所提的廢除皇帝的申請。
丞相都如此了，其他的大臣哪敢不同意？
《漢書》非常詳細了的記載了別的大臣聽到這個消息時的反應。
「群臣皆驚愕失色莫敢發言 但唯唯而已」
這足以看出，彼時的劉賀其實並沒有做什麼嚴重到要被除去皇權的事。
不然大臣們應該欣然同意，而不是這樣害怕地被迫同意。
可霍光在拉攏大臣的時候，難道劉賀會閒著嗎？
他和自己帶來的兩百位親信同樣在預謀推翻霍光。
也許，那1127件荒唐事就是劉賀所故意營造出的昏庸假象。
但此等雕蟲小技哪能騙的了霍光？
霍光反而將計就計，就用這些事作為了廢除皇帝的理由。
劉賀就這樣在一場速戰速決的皇權鬥爭中敗下陣來，被召到了長樂宮。
霍光朗讀了劉賀的全部罪狀，最後，用最結實的理由請求皇太后允許廢帝。
「陛下未見命高廟 不可以承天序當廢」
霍光最後的理由竟然是劉賀即位以來，並沒有去宗廟祭拜。
要知道，祭拜這件事可是應該由霍光安排的啊。
這就是霍光留的後手，故意不讓劉賀去祭祖，最後竟也是用這個罪狀讓劉賀失去了皇帝的資格。