上将还，虑其不诚，留费聚伺之。后三日，聚还告曰：“事不谐矣，彼且欲他往。”上即率兵三百人。复抵其营谓之曰：“汝为人所凌怨，尚未复。今从我而北，恐不能释憾于彼。我助汝兵，可以报之。”帅且诺且疑，然设备甚至。上观其情状非可以言谕，谋以计取之。适里人有勇力者在行，上谓曰：“吾欲用尔能乎？”曰：“惟命是听。”乃密告以计，使往诱其帅来会。潜约我众，俟其至则聚而观之，既聚复开，如是者三，即于众中缚之。既而其帅至众，如约，遂缚之。令壮士五十人拥之以行，其营中不知也。行十余里，乃遣人喻其营中曰：“尔帅已往观营地，可移军来就。”于是营中兵皆出，即焚其营垒，悉驱其众以还，得壮士三千人。
后七日，率之而东夜袭元知院老张于横涧山。黎明，入其营，老张弃军遁去。降其民兵男女七万，得精壮二万，悉加训练。上喻之曰：“尔众初非不多，一旦为吾所有，何也？盖将无纪律，士不素练故尔。今练习尔等者，欲令知纪律也。宜共戮力以建功业。”众皆罗拜曰：“唯公所命。”于是率之南略滁阳。
道遇定远人李善长来谒。上与语，悦之，留置幕下，俾掌书记。语之曰：“方今群雄并争，非有智者不可与谋议。吾观群雄中持案牍及谋事者多毁左右将士，将士弗得效其能，以至于败。其羽翼既去，主者安得独存？故亦相继而亡。汝宜鉴其失务，协诸将以成功，毋效彼所为也。”善长顿首谢曰：“谨受命。”遂与俱攻滁阳，下之。
未踰月，彭早住、赵均用遣人邀上将兵守盱泗。上以二人粗暴浅谋，不可与共事，辞弗往。未几，二人自相吞并，战士多死。早住亦亡，惟均用专兵柄，狠戾益甚。子兴势孤，上闻而忧之，遣人说均用曰：“方今海内淆乱，正收揽英雄之日。公昔窘于元兵，奔濠城，约与郭公共守，以抗元兵。郭公开门延纳，推诚相待，既不见疑，又屈己以事公。郭公之德于公甚大。公乃不思报，反听左右之言，欲先图之，是自翦其羽翼，失豪杰心。且吾闻之：‘有德不酬，是谓悖德；有恩不报，是谓孤恩。’悖德孤恩，丈夫不为，又况人心，难以逆料？郭公虽或可图，其部属犹众万。一事有不然，公亦岂能独安？莫若善待之，使各守其所，唇齿相依，计之上也。不然，唇亡齿寒，吾窃为公不取时。”均用闻上入滁州，兵势甚盛，心颇恐，待子兴稍以礼。上又使人赂其左右，以解之。子兴乃得免，遂将其所部万人至滁州。阅上所将兵三万余，号令严明，军容整肃，乃大悦。居再阅月，子兴惑于谗意，始疑上，悉夺左右任事者，又欲拔李善长置麾下。善长弗肯行，涕泣诉于上。上曰：“主帅之命，弗可违也。”善长终不肯去。久之，弗复召，乃止。自是，四方征讨总兵之权，上皆不得与。上虽见疏远而事子兴愈恭，未尝有怨言。既而元兵围滁，有任某者忌上功，譛于子兴云：上每战不力。子兴颇信之，令与任某俱出城接战。任出城未十步，即被矢走还；上犹直前奋击，众皆披靡。上徐还，了无所伤。子兴乃愧叹。又常与三百人出城，顾闻鹁鸽声，飞矢堕空中，心异之，遽还。俄而，敌兵骤至，无所获而去。上每遇敌，智勇奋出，身先士卒，故所向克捷。凡军中有所得，上皆无取，辄令分给群下。他将有所获，辄以献子兴。子兴以上无所献，颇不悦，故谗言得以间之。孝慈皇后知其意，后将士有献者，后悉以遗子兴妻张氏，张氏喜。后又和顺以事之，由是疑衅渐释。