但就因为大哥总压着一头，为了避嫌，他在仕途上只能慢个一拍两拍。若仅是这样还好，大宋位居执政要职后，与政敌不免角斗过招，败下阵时捎带着也将小弟拉下马。
积累了足够的资历，宋祁本该就任大哥早已做过的知制诰，但因宋庠刚当上参知政事，兄弟俩总不能一个去执政，一个管诏书，这还了得？小宋只得继续到太常礼院、国子监及太常寺几个闲散机构就职。宝贵的政治时光就这样蹉跎而去，少年才子也步入不惑之年。
当大宋与首相吕夷简角力惨败，被贬为扬州（今江苏扬州）知州时，小宋受到株连，也被驱逐出朝，落脚寿州（今安徽凤台县）衙门。真是一荣未必俱荣，一损却是俱损。这能埋怨谁？当然是自己的亲哥，但抱怨又有何用？他只得自认倒霉。
在寿州期间，小宋品尝过挫折的滋味后，也获得放纵自己的机会。早年无力买酒水，今日何不纵佳酿？失意归失意，才子却也写下了许多名篇诗文，其中有《寿州十咏》，咏景咏物，当然也免不了抒发伤感之情。他又有《浪淘沙》一首，写出了对人生的理解感受：
少年不管。流光如箭。因循不觉韶光换。至如今，始惜月满、花满、酒满。扁舟欲解垂杨岸。尚同欢宴。日斜歌阕将分散。倚兰桡，望水远、天远、人远。
宋祁性格鲜明，自视甚高，不喜欢世俗那一套，更看不起平庸的官僚。他有诗云：不乐俗人共，聒聒沸蝈集。纷纷臭孥众，怒迁多市色。表达了自己厌烦流俗的心迹。可在官场中，从来才子未必胜庸夫。
好在本朝政治环境宽松，即使像吕夷简这样的权臣也不会置人于死地，遭贬的官员还有复出的机会。宋祁在寿州衙门停顿了一段时间，又转任陈州（今河南淮阳县）知州，不久便奉诏回朝。此时，没有了大宋在朝执政的拖累，小宋无须避嫌，遂如愿获得知制诰的官职。
宋祁的文学才华有目共睹，于是不久又升任翰林学士，并兼管京师国库事务，成为天子身边的近臣。他实在是聪明过人，为君王书写的诏书辞藻华丽，远胜他人，这是本分，而管理起诸库的出纳事务也是有条有理，还能不时革除一些积弊，这又为许多文官所不及。因此，他获得了上下的好感，尤其是次相章得象对小宋的能力颇为欣赏。如此一来，他官运亨通，很快转任审官院长官兼翰林侍读学士，加上原有的翰林学士，可谓一身三职，也就是说肩负起草诏书、管理官员考评、为天子讲解经史的重任。
此时，重臣吕夷简已退位并不久病逝，朝中的不利因素已然消失，看起来小宋的前景一派光明。