曹寅之父曹璽任江寧織造，後曹寅、曹寅之子曹顒、曹寅過繼之子曹頫先後擔任此職，一直到康熙去世、雍正登基曹家才開始敗落。原因好像是曹家與其姻親李家都參與了皇家的奪嫡之爭，站錯了隊伍，先是支持太子，後是支持八阿哥，就是沒有識別出那位四阿哥才是潛龍。
結果，雍正上台後，曹家、李家先後被抄家，曹家還好，雍正還算給留點體面，雖然抄家，但京城還給留了兩處房產，讓曹家的孤兒寡母入住。李家就沒那麼大面子，妻女僕人在蘇州就地發賣，賣了十天都沒人敢買，悽慘景象無法言表。
想到這些，曹顒只覺得渾身發冷，如今自己竟成了曹寅的親生兒子，雖然不知道到底活了多少歲，但總之是年紀輕輕就病逝，還留了個遺腹子，然後就是有曹寅的過繼之子繼承家業這麼一說。想到這些，又有些哭笑不得，一不小心竟成了曹雪芹的長輩，而且極有可能就是他爹，即便不是他爹，也是他大爺……呃……也是他的大爺。
雖然三天時間不長，但曹顒通過身子記憶對曹家多少了解許多。知道老太君已經六十八歲，雖然年輕時在宮裡當過差，卻並不是後世傳說中的乳母，而是做過康熙的保姆。
皇家的保姆，可不是大家認為的那種侍候孩子的老媽子，而是又被稱為「精奇嬤嬤」的高級看護，是皇子皇女身邊的生活總管，算是實際的養母。
從順治十一年春天進宮當值到康熙四年皇帝大婚這十來年中，孫氏一直擔任康熙的「精奇嬤嬤」，與康熙皇帝的感情不亞於親生母子。因此，在康熙親政後，才會封孫氏為「奉聖夫人」，一品誥命，並且封了其夫曹璽一等男的爵位。另外，在康熙皇帝兩年前的第三次南巡中，就落腳在江寧織造府，因此江寧織造府又被江寧人稱為「大行宮」。
曹寅為了不逾越，才避居到西側院，空了當年迎接聖駕的正房與東邊的院子以示恭敬。就是在那次南巡中，康熙為保姆孫氏的住處提了「萱瑞堂」三個大字，並且在陪同的大小官員面前稱孫氏為「此乃吾家老人」。或者正是因為在宮裡當差的時間太長，與丈夫一直兩地分居，孫氏沒有自己的親生兒子。曹寅實際上是曹家的庶出長子，生母早逝，養在孫氏名下，充作嫡子。
曹寅自幼聰穎，十月能言，三歲識字，五歲能文。雖然年紀比康熙小四歲，但的確是進宮做過伴讀，十六歲後為御前侍衛，此後一直為天子近臣。直到父親曹璽老邁，才被派到江寧來接班。先為蘇州織造，曹璽去世後接任江寧織造，蘇州織造由康熙另一心腹、曹寅的內兄李煦接任。李煦的母親文氏，最初也做過康熙的保母，只是當值時間沒有孫氏這樣長。
曹寅娶的第一個妻子是顧氏，是江南大戶之女，夫妻很是恩愛，不過子嗣上卻艱難，始終未得一兒半女。後顧氏病逝，康熙皇帝指婚，曹寅迎娶了李煦的堂妹李氏為繼室。
曹寅迎娶十八歲的李氏時，已經年過三十。新婚第一年，就添了長女曹顏，數年後又生了長子曹顒。因曹顒自幼身體弱，怕養不住，一直沒起大名，乳名叫作「連生」。待到前年康熙皇帝南巡時，住在織造府，親賜了「顒」字為名，並且恩封了「一等輕車都尉」的爵位，比他老爹曹寅的二等子爵只低了四級，每年也拿著朝廷二百三十五兩銀子的俸祿。因是天子金口玉言給起的大名，所以「連生」這個乳名就收起不用，闔家大小都改了口，該喚「顒兒」的喚「顒兒」，該喚「大爺」的叫「大爺」。