他認為都市太繁擾，想約同志去鄉村居住，半耕半讀，建立一個大同村。他們在廣東新安縣的赤灣找到了一塊地方，由香港航行2小時可到，面臨文天祥嘆息過的零汀洋，挨著宋帝陵，枕山面海，風景天然，有水田近百畝，能結果的荔枝四五百株。莫紀彭回憶，1913年春天，他們第一次找到這裡，歸程時回望，“早熟的荔枝，已垂垂如大小紅紫玻璃球，瀰漫懸空。”他們就叫做“紅荔灣”，試圖在這裡開闢一小塊無政府主義的實驗基地，推行新村計劃，鄭彼岸提議取名為“紅荔山莊”，但終因“二次革命”爆發、政局驟變而未成。
在“晦鳴學舍”，大家一起勞動、學習、生活，相互幫助，人人平等，把這個學舍看作是無政府共產主義社會的雛形，經費來源則是當初為暗殺團募集的。師復經常給他們講無政府主義理論，有時出題目讓大家作文章。丁湘田教語文，聖約翰畢業的李希斌教數理化和英語。“晦鳴學舍”的藏書中有英文版的馬克思《資本論》節本，有法文版的《傅立葉傳》等。當時他們的主要勞動是排字和印刷，他們選印《新世紀》上的文章，發行《無政府主義粹言》《無政府主義名著叢刻》等小冊子，重印了《新世紀叢書》，每種都印了5千冊，免費贈送讀者，郵寄到國內各報館、會社、各省議會、縣議會，“無政府主義”這個名詞才漸漸廣為人知。此前無政府主義思潮的傳播對國內影響甚微，雖然李石曾、吳稚暉早在1907年就在巴黎編輯《新世紀》周報，介紹巴枯寧、克魯泡特金等人的學說，但很少傳入國內。直到“晦鳴學舍”創立，無政府主義的種子才開始在國內撒播。
“心社”十二條社約也是這個時候才正式對外公布的。莫紀彭回憶，“知識分子，看見十二條條文，多數是莫逆於心。短時間廣州市上，茶座酒樓，有閒談必談心社。談心社十二條條文，有閒的人們，談心社是最新鮮、最時髦，又最好不過的談話資料了！”