可偏偏這位高顯市，竟然離經叛道，選擇了去商賈人家，並且起初還不是西席，被王久貴僱傭為掌柜。
王久貴還算是個好東家，再兼高顯市又的確有經商的天賦，賓主間互相欣賞，高顯市還做了一段的總管，後來王平安終於歷練出來，高顯市才又被聘為西席，負責教導王二、王三、王四，以及第三代兒郎，不是教授聖賢書、經史禮儀，而是教授算學、地理，等等對於經商大有作用的學識。
這高顯市也是揚州籍人，和白氏為「鄉黨」，不過卻並非舊相識，近些年，他任著西席，白氏管著家務，難免有偶爾的接觸，又因都是離鄉背井遠在汾州，會面時不免會說起思鄉之情，白氏又知道夫主對高先生極為看重，於是便常常做些家鄉的點心，格外關照著衣用一類瑣雜。
這些都是明來明往的事，王久貴早就知道，也不介意。
怎知忽而就有侍婢檢舉白氏和高顯市有染，王平安的生母周氏，慣無主見且易得著慌，聽聞這等醜惡，頓時六神無主，忙忙地就告知了夫主——這當然只是王平安的說法。
「家父得訊後，起初雖也不信，斥責凝思無事生非，要把那婢女發賣，凝思連喊冤枉，並以死宣誓稱決無虛言，家父半信半疑，便暗使心腹，悄悄去搜高先生的住所，沒想到不僅搜到了庶母親手縫製的香囊，而且還搜到了不少高先生為庶母所繪的畫像，幅幅畫像上，均題有……題有相思愛慕的詩詞。」王平安嘆息一聲：「家父對庶母愛重不提，對高先生也一直敬重，親眼目睹這些憑證，不由怒火攻心，詢問二人，庶母喊冤，雖然我也為庶母求情，但家父卻根本不聽辯解，急怒之餘，掌摑了庶母。」
「高先生見狀，竟與家父爭執，並一口承認對庶母確有愛慕之情，只是堅稱那香囊並非庶母私授，而是見庶母無心遺落，高先生拾取後珍藏，自然也否定了與庶母之間的不齒之事，但家父憤怒之餘，不願聽信，下令驅逐高先生，並把庶母困禁在居處。」
那高顯市本是桀驁的脾性，怎受得了驅逐的折辱？自此便閒雲無蹤，一去不返。
「余本想著，待家父怒火稍減，再替庶母求一求情，不想沒過幾日，竟然聽聞庶母服毒自盡……家父也大為懊悔，就連家母，也因此悲痛不已，想到庶母在世時的情誼，竟然臥病不起。家父由來相信孽報，原本發生這樣的事，就擔心會招禍患，不曾想道長主動登門，觀卜道有冤魂不散，家父越發疑心是當真冤枉了庶母，但家父卻萬萬不會害殺庶母，還望舍人相信，家父決無此等歹毒心腸。」
蘭庭對此申明不置可否，只道：「我相信令尊不會莫名對自己的妾室心生殺意，可白氏與人苟且之說，出於令堂之口，我據實直言，令堂之於此案，身負莫大嫌疑，倘若真相確然如此，足下難道還要主張徹察？」