高阳把房遗直闹得一点办法也没有，只好主动去找太宗皇帝要求将爵位与府邸让与弟弟。太宗皇帝听完就知道是高阳闹得，太宗自小就对高阳十分宠溺，这才养成了高阳嚣张跋扈的性格没同意房遗直的请求。并对房遗直道：嫡长承袭为古之规矩，岂能反复？而且把高阳叫去狠狠臭骂了一顿。自那时起房家这哥俩就算是彻底反目了。
高阳被骂后很是不服气，天天找茬去闹房遗直。房遗直本着惹不起躲得起的方针，退避三舍。但架不住高阳天天如此，这泥人还有三分土性呢，房遗直决定找个，机会敲打一下跋扈的高阳。
机会很快就来了。这个高阳也不知道是不是对房遗爱不满意，还是房遗爱喂不饱她，总之高阳找了个面情人。这找面在唐朝也不是没有，更不是什么希奇的事情。但高阳找的这个面比较特别。他就是唐僧唐三藏的亲传弟子“一辩机和尚
这别人找情人都是藏着掖着。都是暗地里偷欢快乐一下。这位高阳猛女可不这样，每次带着公主府随从兴师动众地来到西山的宝觉寺里把庙里的和尚都赶到大殿之上，而后她与辩机和尚在后殿行欢玩耍，美其名曰：与辩机和尚共参欢喜禅。在大殿之上的和尚们只闻其声，不见其形。一个个憋的脸红脖子粗。更有甚者。高阳猛女执辩机和尚之手，于渭水泛舟游玩，两人勾肩搭背相互状甚狎昵。这渭水之上拥妓游湖本是一道风景，但一个皇室之女拥和尚游湖，这就是传奇了，一时间围观者众多。
这下房遗直抓到了反击的机会，一个奏本送到了太宗皇帝的御案之上。这让很好面子的唐太宗脸上挂不住了，迅命令御林军包围宝觉寺所有和尚一体擒拿。拨索之下在辩机和尚的卧房中现宫里御用的浮屠宝枕，这一问之下辩机和尚说是高阳公主带来的，这更坐实了公主偷和尚的皇家丑闻。
太宗大怒之下命令把辩机和尚腰斩。其他和尚全部配到崖州。并将高阳叫进宫里，盛怒的太宗狠狠给了这个丢尽皇家颜面的女儿一耳光后，命令内府换掉所有公主府官员。并给高阳下了禁足令。
这下房府终于安静了，可高阳对大伯子房遗直的恨也更深了。不久太宗皇帝驾崩，公主府里的执事人禀报了高阳，高阳只是玲笑了一声，却没有任何悲容。随后李治即位。三年丧满后，李治给这个皇姐终于撤销了禁足令。高阳猛女如脱闸的猛虎一般对房遗直反攻。
反正已经撕破脸了，什么也不用忌讳。来到房遗直的院落里指着房遗直的鼻子破口大骂，房遗直只是冷冷地看着她骂。高阳感觉就像是一拳打在棉花上，这样并不解恨，扑上去想把房遗直的脸抓烂，却被房遗直用手推到在地。也赶上房遗直推的不是地方，双手直接推在高阳的胸上，这下高阳抓到把柄了，把衣襟撕破露出中衣，披头散的找李治告御状去了。
这高阳这样闹腾，那房遗爱在做什么？他什么都没做，就是练武、喝闷酒，喝醉了倒头就睡。高阳也许是感觉对不起自己这位老公，送给他两名美女驸马都尉不可以有侍妾，只能属于公主殿下与大量钱财。其实房遗爱也没办法，这驸马都尉看着风光，却最是没意思，名义上是公主的老公，实际上就是公主的出气筒，这公主性格温良一些。这驸马的日子也就好过一些。赶上象高阳与后来的太平这样的，这驸马的日子只有一个字“苦”。房遗爱也难啊！一边是他惹不起的老婆。一边是自己的亲哥哥，两难中的他最终选择了两不相帮，当缩头乌龟了。