曾国藩还批评他“但取平江之人，不用他籍之士”；此语意甚微妙。湘军的基本建制单元，本就以乡谊维系。早在创建水军时，曾国藩就叮嘱负责征兵的人：“水手皆须湘乡的，不参用外县的，盖同县之人易于合心故也” ；曾国荃的“吉”字营则“不独尽用湘乡人，且仅用屋门口周围十馀里之人” 。然则，李元度“但取平江之人”，也未见得大谬不然，曾国藩为何要批评他呢？原来，李元度“甄录”的平江老乡，大多用来充任中上层军官，而不是普通勇丁，这就破坏了营-哨-什-勇逐级挑选下属的湘军制度，有任用私人的嫌疑，而不仅仅是地域歧视了。
因为上述原因，李元度再度从军，曾国藩就没让他带兵，而是让他做了记室、参军。李元度“下笔千言，条理周密” ，恰能胜任文案工作，倘若顺着这条职业道路走下去，虽不敢奢望左宗棠、李鸿章那样的功勋，但如李瀚章、盛宣怀那样，幕优则官，混个一、二品大员还是很有指望的。可是，天意弄人，李元度的职场生涯终未能如此完满。
咸丰十年春，太平军定计：佯攻杭州，解南京之围。清军果然中计。江南大营旋被攻溃，张国樑、和春先后阵亡、自杀，江苏、浙江全面告急。新任浙江巡抚罗遵殿，原在湖北任职，和胡、曾等湘军领袖交谊极深，当此危急关头，自然向湘军乞援。其时，湘军诸部被太平军牵制在湖北、江西、安徽三省，无法赴援浙江。不得已，李元度又一次投笔从戎，重新扮演廖化的角色。李元度重出江湖，胡、曾都不看好他，胡林翼给罗遵殿写信说：
“（李元度）爱才如命，疾恶如仇；而所疾固多恶人，所爱未必才士也” ；此谓李军中并无人才，难以改变局面。
又给罗遵殿的儿子忠祜写信：
“李次青（元度字）、正人也，任事一片血诚，笔墨亦敏捷清挺无俗尘，军事参谋可得一当，特未可专以治兵耳” ；
但是，时穷事蹙，舍李元度以外，湘军别无他人可以援浙，故曾国藩只能将此次援浙当作一次赌博，如龚自珍所谓“看伊家国运如何”也 。不过，二人毕竟是共历患难、生死相托的交情，曾国藩对李元度此行胜败安危的关注，自当区别于其他将领。他如此描述他的矛盾心理：