判決一出，舉朝震驚。正諫大夫、同鳳閣鸞台平章事朱敬則，在朝堂上叩頭出血，為魏元忠等人抗疏審理：“元忠素稱忠直，張說所坐無名，若令抵罪，豈不失天下人之望？”
女皇也覺自己有些過分，悻悻然收回成命，拉著長腔說：“死罪可免，活罪難逃。看在卿的面子上，免其死罪，貶魏元忠為高要縣尉，張說、高戩流放嶺南。”
被貶為高要縣尉的魏元忠，在垂暮之年，第四次踏上流放之路。行前，照例要拜陛辭行。
雙鬢已染白霜的魏元忠，穿著一身便裝，走進了大殿。女皇一見，也覺有些心軟，忙令近侍給魏元忠賜座看茶。魏元忠雖是被貶之人，卻也覺得有些受寵若驚，喝了幾口御茶後，充滿感情地對女皇說：“臣老矣，今向嶺南，十死一生，陛下他日必有思臣之時。”
“元忠啊，你把最後一句話說明白一些，朕有些不明白。”女皇套著近乎說。
魏元忠把茶杯一放，指著縮在女皇背後的二張說：“此二小兒，終為亂階！”
說完，魏元忠向女皇拱一拱手，轉身離去。
長安四年（７０４年）春正月，在梁王武三思建議下，毀僅建了四年不到的三陽宮，以其材作興泰宮於萬安山。萬安宮功費甚廣，百姓苦之，左拾遺盧藏用具表以為：
左右近臣多以順意為忠，朝廷具僚皆以犯忤為戒，致陛下不知百姓失業，傷陛下之仁。陛下誠能以勞人為辭，為制罷之，則天下皆知陛下苦己而愛人也。
疏奏，不從。夏五月，興泰宮成，則天大帝幸興泰宮。
說張氏五兄弟雖目不識丁，才不能理政，卻依仗女皇這個靠山，位列公卿。按蘇安恆的說法，此兄弟五個理應“飲冰懷懼，酌水思清，夙夜兢兢，以答思造。”
然則此五人卻欲壑其志，豺狼其心，干起種種賣官鬻爵的勾當。且欺壓良善，強奪民產，掠奪民婦，無所不為。直弄得長安城內，里巷洶洶；朝野上下，怨聲載道。
值此女皇攜二張去興泰宮避暑之機，朝臣們積極搜集諸張貪贓枉法的材料，以期告倒諸張。
八月十一日，倦政怡養幾達三月的則天大帝，自興泰宮返回神都宮城。主管政法工作的宰相韋安石，就把厚達尺余的指控諸張的材料，擺在了女皇的御案上。
指控材料翔實有力，時間、地點、人證、物證，一應俱全。武則天翻看了一會，心有護短之意，拍拍材料，搖搖頭說：“此五兄弟一向挺好，若真有這事，朕還真不相信。”