而吳祿與馬佳氏也算是青梅竹馬，兩人成婚後琴瑟和諧，並無什麼通房姨娘之類的。馬佳氏加入鈕祜祿家幾年沒有生子，額亦騰也沒有苛責於她。這也讓圖海也心生感激，覺得自已的決定是正確的。
而圖海因為此舉惹得順治厭惡，順治曾說過“圖海原系白身，朕破格優擢，任用一品。”
也因此順治帝對他的寵信日漸減少。在順治看來，圖海的一切是自己賜給他的，圖海此舉是枉負聖恩，無恥小人。前頭說了順治此人至情至性，簡直是‘愛之欲其生惡之欲其死’的典型，雖然順治愛其才華但對圖海更是苛責不以。因此圖海的仕途時起時落。
順治十三年七月，圖海管理刑部僅一年多，就被順治帝革去拜他喇布勒哈番、太子太保，又降三級。
順治十五年(1658年)，因江南鄉試作弊一案，刑部“徇庇遲至經年”，“問擬甚輕”，圖海受牽連，被革去少保、太子太保及所加之級。十二月，他奉命同大學士巴哈納、金之俊、衛周祚、李霨等校訂《大清律》。
順治十六年(1659年)閏三月，圖海再次受到嚴重的打擊。起因是侍衛阿拉那與公額爾克戴青家奴鬥毆於市，刑部在審理時，判處阿拉那鞭一百，折贖，上奏得准。但十八天後，順治帝下旨嚴辦圖海，圖海被革職，家產籍沒。這次處罰對圖海來說，當然是非常致命的打擊，丟官敗家，還險些喪命。
看著圖海的仕途就知道順治的性情。
圖海的仕途起起落落，之前圍在吳祿夫妻身邊奉承的阿諛小人轟然而散，甚至還有人落井下石。
有人跑到吳祿身邊說圖海已經惹得順治厭惡，將來不可能再起來，因此建議他休掉馬佳氏另娶他人。不過吳祿沒有同意，而且斥責那個人。額亦騰得知，甚至道，若吳祿另娶他人，他就不認這個兒子。
圖海得知非常感動，此時的他正處於人生的最低谷。連當初初任筆帖式被人陷害險些被下獄時都沒這麼低落，因為他知道他的伯父額亦騰必然會救他。可如今他惹了順治，沒人救得了他，他的伯父一家仍然不離不棄，更讓他震動。
直到額亦騰去世，圖海在額亦騰靈前，也和吳祿兄弟一起充當孝子，並且為額亦騰茹素一年。
而之前馬佳氏生下雲瑤和凌泰這對龍鳳胎，讓馬佳氏從兄長被降罪的打擊中走出來，也就沒人再在她耳邊多說什麼。圖海也甚為關心這對龍鳳胎。
之後康熙登位圖海終於又回到了之前的意氣風發。在順治十八年十月，順治臨終彌留之際，留下了遺言：“原任都統圖海，情罪原屈，欲改未及。遇有滿洲都統缺補用。著圖海補授都統。”可知順治帝反省此事，承認圖海是被冤屈的，所以留下遺言，待日後由新皇帝為他彌補。正是因為有了順治帝的這句話，所以康熙帝即位後，馬上就授予圖海正黃旗滿洲都統一職。