廉希宪任平章政事的时候，正遇上拥有权势的大奸臣阿合马总揽国家的财务大权。阿合马这个人专靠阿谀奉承，取得了皇上信任。他贪赃枉法，横行无阻。后来由于他们同伙分赃不均，互相揭发把案情暴露了。元世祖忽必烈如梦初醒，大吃一惊，考虑到案情重大，就委托中书省进行审理查处。可是，中书省的几位大臣，又都是畏权伏势的家伙，谁也不敢明察这件事。
正在朝廷左右为难之际，廉希宪挺身而出，毅然决定亲自审理这个案件。经过详细审问和调查，案件终于水落石出，人赃俱在，罪行属实，阿合马及其党羽被分别论处了。廉希宪严肃地惩办了贪污犯罪分子，使元朝萎靡的朝政为之一振。
廉希宪不仅能够清除贪污之人，振兴朝纲，且能知人善任，目光远大。
当他在京为长官时，当时四川宣抚使浑都海造反，西川将领纽邻奥鲁官即将要举兵响应，却被蒙古八春捕获，与其党羽五十多人被监禁在乾州监狱，送了其中两人到京兆来，请廉希宪处死他们。
廉希宪对属下说：“浑都海不可能乘机向东侵犯，目前还没有其他顾虑。而且他们大家心志不一致，有人确有反叛之心，但是主意还不坚决。他们如果看见自己的将领受到拘禁，可能更加心生反叛，危害不浅。可以顺着他们怕死的心意，一起宽释，然后派这支军队剩余的士兵去依附八春，由八春带领，才是最好的办法。”
当初八春逮捕各军官，全军士兵都非常恐惧，四处逃逸；后来听说军官都安全，纽邻奥和鲁官也释放了，于是士兵们都大喜过望，人人感佩。最后八春果然带着精兵数千人，一起向西讨伐浑都海。
明代冯梦龙对此曾评论说：让那些人依附八春的原因，是预知八春有能力制服叛贼，不是随意纵虎归山，遗留后患的。八春能杀他们，廉希宪能救他们，畏惧与感念交集，不必担心不被我所用。