祁駝子很是高興，自己活了好幾十年，總算做了一回值得稱道的正事。他不懂查案，沒打算繼續追查殺害禹秋蘭的真兇，他也知道自己追查不出來，以他的能力，能讓宋鞏清白出獄，已經算是到了極致。如今宋鞏出了獄，追查真兇，那就是宋鞏自己的事了，祁駝子該為自己做打算了。得罪了郭守業和知府大人，府衙是不可能待下去了，他打算辭了灑掃義莊的差事，也不打算再做什麼仵作，以後就跟著弟弟一起進山伐木燒炭。
決定了要離開府衙，祁駝子心裡竟有說不出的高興，連走路都輕快多了。他去肉市上買了一塊肉，又買了一條鮮魚，還打了一壺酒，回家交給妻子烹製，然後去請弟弟祁老二到家裡一起吃飯，到時把自己的打算跟祁老二說一說。等他拉著祁老二快走到家時，卻遠遠望見滾滾黑煙翻騰而起，冒煙的竟是自己的家。生火炊飯不會有這麼大的黑煙，只有著火才會。他飛奔至家門口，果然看見家中已燃起大火，他急忙呼喊妻子和女兒的名字，卻聽不見任何應答聲。祁老二慌忙提水救火的同時，祁駝子捂住口鼻，一腳踢開家門，衝進了濃煙之中。
祁駝子沒能救出妻子和女兒，連妻子和女兒身在何處都沒能找到，最終被大火逼退，一根燒斷的木樑砸在身邊，彈飛的木屑扎進了眼角，他竟也感覺不到疼痛，任由木屑扎在眼角里，一絲鮮血猶如淚痕，凝在他的臉上。他暗暗祈禱，妻子和女兒也許去了別處，不在家中。直到大火熄滅，已被燒焦的妻子和女兒在廢墟中被找到，他跪倒在地，緊緊抱著兩具焦屍，撕心裂肺地叫道：「我的……我的妻，我的女啊……」淚水才如決堤般涌了出來。被木屑刺傷的那隻眼睛本就沒及時得到醫治，又經過這一場大哭，最後徹底瞎了。
遭此大變，祁駝子幾度想要尋死，祁老二寸步不離地守著他，每次都把他救了回來。他後來不尋死了，之前的打算也不提了，就去城南義莊裡待著，整日與屍體為伴。那義莊看守再來為難他，他只是聽之任之，便如行屍走肉一般。後來那看守得病死了，偌大的義莊只剩下他一人。他漸漸學會了去櫃坊賭錢，常常輸得精光，被要債的人打得爬不起來，每次都是祁老二趕來清了賭債，他才得以走出櫃坊，但只要傷一好，稍微一有點錢，他便又會往櫃坊去，祁老二好說歹勸，也拿他沒辦法。旁人都當他嗜賭成性，不可救藥，沒人知道他是為了忘掉過去，不願再去想起那些慘痛的回憶，可白天還能以賭來忘掉一切，到了夜裡，他卻時常夢起當年的事，尤其是他緊緊抱著已成焦屍的妻女，這一幕總是那麼清晰，讓他每一晚都如墜冰窟般牙齒發抖、渾身發顫。他就這麼槁木死灰般地活了十多年，其間臨安知府幾度換任，司理參軍也換了好幾個，只有他自己，一直待在這城南義莊，除了弟弟外無人過問。