“讓你出去玩玩還行，真要領兵打仗，你還不夠格。”
薛懷義不服氣，說：“我兵不血刃，已度紫河，其功非淺，這可是聖上御口親說的。”
“好了，好了。”武則天攬住薛懷義說：“你還是到白馬寺當主持吧，閒來入宮侍候侍候朕，就別想其他了。”
薛懷義賴著武則天說：“我就得當兵部尚書和平章事。”
武則天捏著薛懷義的鼻子說：“讓你處置軍國大事，朕怎能放心，再說讓你當宰相，影響也不好。”
薛懷義一聽這話，從武則天懷裡掙脫出來說：“什麼影響不好，十幾年了，我薛懷義在皇宮內進進出出，誰不知道？”說著，薛懷義拿起褂子就走了。
回到白馬寺，薛懷義還留戀軍隊裡那一呼百應，千軍萬馬的生活，於是廣開山門，廣招門徒。京都附近的潑皮無賴閒人們，紛紛趕來投靠，一時度力士為僧達兩千多人。這些人鬥雞走狗，吃喝拉撒，一時把白馬寺及其附近鬧得烏煙瘴氣。薛懷義閒來無事，特地從部隊裡請來教官，教力士和尚們操練一、二，謂之預習陣法，將來好為國上陣殺敵。
薛懷義好一陣子不去皇宮了，武則天有些惦念，這天，特派上官婉兒去請。上官婉兒到了白馬寺，話剛說出口，薛懷義就指著院子裡歪七斜八、正在操練的和尚兵說：“我這一段時間忙於事務，無暇入宮。”
上官婉兒在一旁輕輕地說：“皇上相招，您怎麼也得抽空去一次。”
薛懷義撇著嘴說，“有什麼好去的，上次我想當兵部尚書，她都不讓我當。光讓我陪她，我早就受夠了。”
上官婉兒捂住耳朵說：
“薛師說的混帳話，婉兒可一句沒聽見。”
“聽見沒聽見是你的事。”薛懷義大大咧咧地說。
上官婉兒無奈，只得告辭說：“既然薛師很忙，待我奏明皇上就是了。”
薛懷義道：“問皇上封我為兵部尚書不，封我我就入宮侍候她。”
上官婉兒自然不敢把薛師的混帳話一字不漏地傳達給女皇，只是說薛師挺忙，無暇入宮，武則天怒問道：“他成天都忙些什麼？”
“我也弄不清。”上官婉兒道，“就見一二千和尚又是唱戲打鑼，又是耍槍弄棒的。”
武則天依舊氣咻咻的，上官婉兒試探地問道：“是不是讓御醫沈南璆來侍候陛下？”