别无它法，陈亮只有回归他老祖先的行业，老老实实地做起农民来。在这个行业，陈亮还是有天赋的，不久，他的家道就殷实起来，他开始营造乡间小别墅，并取名为抱膝斋，别墅里还有什么“赤水堂”、“独松堂”、“舫斋”等，他也要享受一下大富大贵者那种“楼台侧畔杨花过，帘幕中间燕子飞”的悠闲生活。唯一遗憾的是，陈亮多次请求朱熹题字，都被这位老夫子拒绝了，因为两人思想上正短兵相接，即开始了思想史上著名的王霸义利之辩。
如果没有牢狱之灾，陈亮说不定真的就会成为乡间的隐士，他的棱角也会被无情的岁月磨平。陈亮在《告高曾祖文》中说：“高安既没，十年之间，亮两以罪系棘寺，实为祖先之羞。”高安，即陈亮的叔祖父陈持，他曾经担任高安县主簿。陈持卒于淳熙二年（1175），十年之后，也就是淳熙十一年（1184），陈亮就被关押到监狱里去了。大约呆了七八十天。为什么会入狱呢？陈亮自己的解释“药人之诬”。有一次乡里绅士聚餐，陈亮的菜羹里被放入了一些胡椒，这本来是款待贵客的一种乡俗。但有位会餐者暴卒，有人就告发食物中有毒。
二十三、陈亮(6)
而叶绍翁的《四朝闻见录》则认为陈亮下狱的原由是“册妃拜相”。陈亮考场失利后，心情郁郁，经常出去狂饮，往往喝得烂醉。有一次他和狂士甲携带一位乐妓到萧寺喝酒，酒喝多了，脑袋反应迟钝，嘴巴却伶俐起来，开始胡言乱语，称乐妓为妃子。旁边正好有酒客乙，别有用心地撺掇，就对狂士甲说：你既然册封这位女子为妃，那么谁是丞相呢？这位狂士张嘴就说：陈亮为左相，你为右相。有了你们这两个丞相，大事就成功了。酒客乙于是就让狂士甲坐在大厅正中央，他与陈亮一右一左前去奏拜，乐妓则端起酒杯唱起《降黄龙》的歌来，歌罢，乐妓、陈亮与酒客乙都高呼“万岁”。
叶绍翁还说，陈亮参加考试的时候，考官何澹不喜欢他的文风，将其黜落。陈亮心中不服气，揭榜后到处对自己的亲戚朋友们说：“亮老矣，反为小子所辱。”这话慢慢就传入了何老师的耳中，何老师心中有数，只是苦于没有机会。后来何澹担任刑部侍郎，酒客乙知道二人的恩怨，不经过地方，直接跑到中央，越级告发狂士甲与陈亮有不轨之心。何澹接到状纸，大喜过望，当即派人将陈亮与狂士甲抓紧监狱，严刑拷打，打得陈亮体无完肤，最后把案情回报给孝宗。孝宗对陈亮多少有些印象，暗中派手下人亲自到永康去调查，掌握了第一手材料，知道这都是酒话，不能当真，于是对有关人员说：“秀才醉了，胡说乱道，何醉之有？”这样，陈亮与狂士甲就被无罪释放，两人手挽手昂着头从监狱走了出来。
叶绍翁的记载，显然只能付之一笑。陈亮入狱，可能是受到牵连，也可能当时与他同理学家关系密切有关。其时，打到“伪道学”的呼声越来越高，而陈亮的经济状况有所好转，竟然有闲钱去营造别墅，有人就认为陈亮可能打着朱熹等人旗号索贿受贿。陈亮能够出狱，也得力于众人的大力营救，他的一些弟子奔走呼救，叶适、王淮等人出面开拓。后来狂士甲的兄弟把自己新任命的官职捐献出来，这才感动皇上，把案件牵涉到的众人一并释放。