痛定思痛，张之洞认定自强种种，首在强军。受命署理两江后所办的第一件大事，便是组建一支军队，他亲自将这支军队命名自强军。自强军共有前队八营，炮队二营，马队二营，工程队一营，共计近三千人。自强军聘请德国军官为教练，依照德国陆军的操典予以训练。它的区分兵种及各营统一于总指挥的特点，迥异于过去的湘淮军，使之成为一支朝野瞩目的新型军队。建军的同时，他又在江宁创建一所陆军学堂，以便为自强军培养既懂军事又懂外语的新式军官。
看着自强军在一天天长进，张之洞心里高兴。他设想今后还可以在湖北也筹建一支类似的军队。这天晚饭后，随他前来江宁的老友兼亲家桑治平，约他到自己的房里说话。
桑治平寓居督署的房间，在衙门西北角上。三十多年前的两江总督衙门，正是与京师紫禁城拥有同等政治地位的天王府。天王洪秀全请干王洪仁玕依照在香港所见的洋人教堂的样式，为他修造一座小型拜上帝会教堂。这座洋式教堂在王府西北角，全用花岗岩砌就，窗棂上装的是当时最为时髦的彩色玻璃。房顶做成尖尖的塔状，上面有一个铁制的大十字架。上下两层，除开一楼大厅外，楼上楼下共有六个大小单间。这里人迹少，极为安静，洪秀全常在这里做礼拜，读《圣经》。住在这里，他有一种与天父天兄直接对话的感觉。他说的话，天父天兄都能听到。恍恍惚惚中，他也常见天父天兄在向他指示方略，赐予智慧。天王还常常在这里写诗作文，修改增补他的《御制诗文集》。有时，他看中哪个漂亮的女官，也会带到这里来幽会，为的是回避他众多的王娘和进府来请示机宜的列王天将们。
同治三年六月，湘军吉字营的一把大火，将天王府几乎焚烧殆尽，这座小教堂因为地处偏僻又是岩石建成而幸存。曾国藩将江督衙门从安庆迁回此地后，有人曾建议将这座建筑拆毁，曾国藩制止了。他说一座好好的房子，拆了可惜，留下还可以住人。他只叫人将尖塔和十字架拆掉，因为那是邪教的象征，代之以中国传统的人字形屋顶。也叫人将彩色玻璃取下，那是迷人心性的艳色，代之以中国传统的灰白皮纸。经过改造后的这所房屋，既舒适好用，又平实素朴，曾国藩便将之作为高等驿馆看待，专门接待来两江的朝中贵客。平时无人来则锁起。他自己仍守着湘乡农人似的简朴生活，这座驿馆他一夜也没住过。曾国藩的这个传统一直沿袭下来。数十年来，历任江督都没改变它。桑治平随着张之洞来到江宁后，为着对老友的礼遇，张之洞将他安置在这座署中驿馆里。柴氏夫人半年前过世了，他一人独居。来到江宁后，张之洞给他派了两个仆役，与他同住驿馆，以便随时照顾。