從永曆五年（1651年，順治八年）起，王夫之開始了為時40餘年的隱居生活。
最初十年間，為了躲避清人的緝拿，他流徙不定，在祁、邵間朋友家中躑躅二三年。
順治十一年（1654）移居常寧西莊園，由友人王文儼供給飲食，教授鄉人《春秋》。
順治十四年（1657）返回衡陽，由於在張獻忠入湘時，他避兵南嶽，結識了不少釋
家弟子，於是長居雙髻峰寺院之中，直到順治十七年（1660），才定居在湘西金蘭
鄉茱萸塘，初造小屋，名叫“敗葉廬”，次築“觀生居”。越十二年，再徙石船山
下，去觀生居二里許，因里人舊址築湘西草堂，並自號“船山”。在這十年流浪生
活中，他吃了不少苦，常寧諸生王祥隆有詩描寫這時期工夫之的生活狀況：“美人
坐清湘，閒吟復長嘯。十旬五得飢，體癯容愈少。冠蓋時叩門，千金不一笑。道逢
衣褐游，風雨憐同調……”有一段時間風聲吃緊，他不得不變易姓名，混跡於語人
之中。
隱士所屏絕的是與政府方面的交往，並不廢一般的朋友往來。王夫之是儒學出
身的隱士，他的做人沒有狂盪不羈，放浪形骸，使人難以接近。在他的親屬中，幸
存者唯有長兄介之，介之居於武水之濱石師嶺東耐園草屋，夫之常去看他，恆在夜
間，由門生異輦而往，康熙二十五年（1686年）介之以81歲的高齡卒於耐園，夫之
親治喪事。王夫之的友人絕大部分是明朝遺老，其中有崇禎朝曾任江西巡撫、後隱
於石門山的郭都賢（益陽人，字天門）；隆武朝擔任東閣大學士兼右都御史的熊開
元（嘉魚人，字魚山）；永曆朝曾任翰林院編修官的錢秉鐙等，武臣有永曆故將新
安人黃金台，明亡遁入禪林稱廣明大師，他曾請王夫之寫過小傳；章曠部將董啟行
也由華亭遠道而來請他為章公撰寫詞碑。王夫之有不少友人削髮游於方外，永曆朝
曾以東閣大學士、禮部尚書徵召的編修官方以智，舍妻子做浮屠為青原主寺僧，他
與王夫之長久保持書信往來，彼此以詩詞贈答，但王夫之沒有逃禪之意，方以智屢
遺書王夫之，康熙八年（1669年）王夫之派弟子唐端笏齎書往青原（吉安廬陵）以
母病謝絕。
王夫之教授的學生，有很多是為明朝死難者的遺孤或王氏世誼之後，章有漠
（字載謀）是章曠的兒子，蒙之鴻是“五虎”之一蒙正發的兒子，管永敘是平生好