“就是誣陷也誣陷不了哪裡去。”武則天說，“韓瑗、來濟向來和皇上不合，如今竊居高位，皇上理應對他們有所警惕才是。”
“這二人雖然常常有悖朕意，可也算是忠臣，你過去不也說過他倆‘深情為國’嗎？”
五.2
聽這話音，看來高宗李治還沒有糊塗成漿糊。“此一時彼一時也，人是可以轉化的，過去深情為國，不等於現在深情為國。人心隔肚皮，虎心隔毛衣，依臣妾看，這宰相不能讓他們幹了。”“不讓他們干宰相，讓他們幹啥，這朝中的尚書之類的位子也都滿滿的。”?
“不如貶他們倆一個為振州刺史，一個為台州刺史吧，一個在海南，一個在浙江，諒他們也勾結不到一塊了。”“這，有點過分了吧，再說，長孫太尉也不會同意的。”“管他同意不同意，這天下是你的，你是當家人，再說，韓瑗、來濟是他的親信，三人抱成一團，長期盤踞在朝堂，這本身就是危險因素。”“呀，說得也是。”李治抓了抓腦門，“不過，朕這樣做，實在是於心不忍啊。”“當皇帝，駕馭群臣，領導全國，怎能婆婆媽媽？當年太宗皇帝如果於心不忍，不發動玄武門之變，殺建成、元吉，恐怕太宗反過來會被其所害，那樣的話，別說你現在做皇帝，恐怕連小命都早已沒有了，當然也不會有臣妾，不會有這幾個可愛的王子。”“說得對！”李治抖抖袖子，仿佛要做一個果敢堅毅的人，揮手對武則天說，“你替朕草詔，就依你所說，貶他們為振州、台州刺史。”“這才是個做皇帝的樣子。”武則天開心地笑了。“自從到了洛陽，你現在睡覺怎麼樣了？”“好多了，臣妾想長期住在洛陽，再不想回長安了。”“洛陽也不錯，朕也挺喜歡，朕的頭痛病也覺得好些了。”八月十一日，皇帝李治降詔：貶韓瑗為振州刺史（海南崖縣），來濟為台州刺史（浙江臨海），終身不聽朝覲。褚遂良從桂州再貶至愛州（今越南清化）。愛州，唐時屬藩屬九真之地，比天涯海角還天涯海角，年過花甲，連連遭貶的褚遂良，心灰意冷，身心交瘁，連連上書乞求憐憫。但時已為侍中的許敬宗把他的奏書壓在案底，根本不予上報，褚遂良年年失望年年望，終於支撐不住，於顯慶三年（６５８年），死在了愛州，享年六十二歲，一代書聖，就這樣無聲無息地化作異域之鬼。
至此，褚遂良、韓瑗、來濟、裴行儉等元老重臣集團的骨幹相繼倒台，武則天覺得，扳倒長孫無忌的時機也到了，於是密令許敬宗、李義府，要想盡一切辦法，構陷長孫無忌。
顯慶三年（６５８年），李義府上書，以莫須有的罪名誣陷長孫無忌的中表親高履行及從父兄長孫祥。高宗李治起初還不相信，但架不住武則天的軟施硬磨，許敬宗的巧言哄騙，只得當堂下旨，高履行由太常卿外放為益州大都督府長史，長孫祥由工部尚書外放到荊州大都督府長史。
宦官宣旨時，李治惴惴不安地偷眼看著長孫無忌，因事前沒給他商量，生怕他不願意，當堂給自己難堪。誰知，長孫無忌聽了旨意以後默默無語，只是垂著手站在那裡，面無表情，李治一見，更覺不得勁，早早宣布退朝，躲到後宮去了。
回到家裡，長孫無忌心煩意亂，唉聲嘆氣，坐也坐不安，臥也臥不下，於是叫下人弄了幾個菜，獨自一個人喝悶酒，小酒盅還沒端起，門房來報，太子太師于志寧於大人來訪，長孫無忌急忙傳令，快快有請。