未几，和阳乏粮。上与诸将谋渡江，患无舟楫。时双刀赵、李普胜、俞通海父子拥众万余船千艘，据巢湖，结水寨，与庐州左君弼有隙，屡被其窘，惧为所袭。五月丁亥，遣俞通海间道来附，乞发兵为导使，凡三至。上谓徐达等曰：“方谋渡江而巢湖水军来附，吾事济矣。”遂亲往巢湖与李普胜等会，就观水道，以舟出和阳。时铜城闸、马场河等隘口皆为元中丞蛮子海牙水寨所扼，惟一小港可达，然浅涸不可通大舰。已而，大雨兼旬，川谷流溢，素非行舟处皆水深丈余。上喜曰：“天助我也！”遂乘涨发巢湖舟，鱼贯而出。至黄墩，双刀赵以所部叛去，余舟悉至和阳。方降舟之未至，遣人诱蛮子海牙军来互市，遂执之，得十九人，皆善操舟者。令其教诸军习水战，命廖永安、张德胜、俞通海等将之。
壬寅，上帅舟师攻蛮子海牙于峪溪口。敌舟高大，不利进退。永安等操舟如飞，左右奋击，大败其众。遂与诸将定渡江之计，诸将咸欲直趋金陵。上曰：“取金陵必自采石始。采石，南北喉襟。得采石，金陵可图也。”六月乙卯朔，上率徐达、冯国用、邵荣、汤和、李善长、常遇春、邓愈、耿君用、毛广、廖永安各引舟渡江。将出江口，会日暮。忽军后数十里黑云蔽天，雷电风雨大至，舟遂止。丙辰黎明，将渡。云分两道：右由西南，左由东北，俱覆牛渚矶。时西北风顺，舳舻齐发，军士皆讙跃。上与永安举帆前行，永安请所向。上曰：“采石大镇，其备必固。牛渚矶前临大江，彼难为备御。今往攻之，其势必克。”乃引帆向牛渚。风力稍劲，顷刻及岸。守者惊骇，出兵来拒。上麾甲士以进，敌不交，即走。常遇春奋戈先登，诸军鼓勇继之。采石镇兵惊溃，遂拔之。缘江诸垒望风迎附。诸将以和阳饥乏，见粮畜，各欲资取而归。上察诸军无进取意，乃谓徐达等曰：“今举军渡江，幸而克捷，当乘胜径取太平。若听诸军取财物以归，再举必难，江东非我有。大事去矣。”因令悉断舟缆，推置急流中，舟皆顺流东下。诸军大惊，问故。上曰：“成大事者不规小利。此去太平甚近，舍此不取，将奚为？”于是诸军皆听命，乃令军中皆食。食已，即率众自观渡向太平桥，直趋城下。元平章完者不花、万户万钧、达鲁花赤普里罕忽里闭城拒守。上纵兵急攻，遂拔之。完者不花与佥事张旭等弃城走，执其万户纳哈出。太平路总管靳义出东门，赴水死。上闻之曰：“义士也！”具棺歛葬之。耆儒李习、陶安等率父老出城迎上。安见上状貌，谓习等曰：“龙姿凤质，非常人也。我辈今有主矣。”上之发采石也，先令李善长为《戒戢军士榜》，比入城，即张之。及拔，城士卒欲剽掠，见榜揭通衢，皆愕然不敢动。有一卒违令，即斩以徇，城中肃然。富民陈迪献金帛，即以分给诸将士。
丁巳，上召陶安、李习与语时事。安因献言曰：“方今四海鼎沸，豪杰并争，攻城屠邑，互相雄长；然其志皆在子女玉帛，取快一时，非有拨乱救民安天下之心。明公率众渡江，神武不杀，人心悦服，以此顺天应人而行吊伐，天下不足平也。”上曰：“足下之言甚善。吾欲取金陵，足下以为如何？”安曰：“金陵，古帝王之都，龙蟠虎踞，限以长江之险。若取而有之，据其形胜，出兵以临四方，则何向不克。”其言合上意，由是礼遇安甚厚，事多与议焉。
改太平路为太平府，以李习知府事。置太平兴国翼元帅府，诸将奉上为大元帅。上命李善长为帅府都事，潘庭坚为帅府教授，汪广洋为帅府令史，以陶安参幕府事，命诸将分守各门，脩城浚濠，以固守御。
辛酉，元右丞阿鲁灰、副枢绊住马、中丞蛮子海牙等以巨舟截采石江，闭姑孰口，绝我归路。方山寨民兵元帅陈野先以众数万来攻城，其锋甚锐。上按兵城上，察其无他奇谋。乃遣徐达、邓愈、汤和引兵出姑孰，东迎战；复命别将潜师由间道绕出其后。达等转战至城北，忽有双龙见于阵，上云端，敌众方仰视惊愕。我师因夹击之，野先腹背受敌，大败，遂擒野先。上释不杀，与之语。野先性谲诈，谓上曰：“生我为何？”上曰：“天下大乱，豪杰并起，假号令据城邑者不知其几。然胜则人附，败则附人。尔既以豪杰自负，必能识达事机。岂不知生尔之故？”野先曰：“然则欲吾军降乎？”上曰：“然。”野先曰：“此易尔。军之将校皆吾亲故，喻之即来。”乃为书招之。明日，众皆降。阿鲁灰、蛮子海牙等见野先兵败，不敢复进攻，率其兵还驻峪溪口。