即使蒋长期不在职，孙中山仍十分信任他。1920年11月底，蒋终于返回广州，发现给他的职位是重建的军政府内政部部长，而这并不合他的胃口。
另一方面陈炯明已开始建立自己的势力，他的职务头衔甚至超过了孙中山：陆军部长、广东都督、粤军总司令、两广最高检察长。
1921年1月12日，在广州召开国会议员大会，进行投票选举。尽管代表不足法定人数，孙中山作为“革命之父”已数次成为正义力量的领袖。这一次，孙中山希望通过法律程序成为当然的领袖。4月，国会议员选举孙中山为全国非常大总统。5月5日，孙正式宣誓就职。
尽管许多传记渲染孙中山和蒋介石的亲密关系，但有一点很明显，孙中山从来就未认真考虑蒋介石的建议，也未将他当作自己的知心朋友。蒋介石再三劝告孙中山不要搞这个选举，因为这种选举未达法定人数，缺少法律效力；而且一旦南方联合瓦解，不再效忠政府，这种选举便毫无意义。蒋介石争论说，任何不同意见都应被考虑。
蒋介石最后这次负气离职，时间近三个月。他不断受到各个方面的压力，要求他回广州。为孙中山效劳。他最后竟失去耐心，将国民党的说客给打发走了。1921年1月5日，蒋就他的行为写信表示道歉：“我脾气暴躁，行为鲁莽，……事后反省，深感惭愧，意识到自己太可笑了。”
孙表示原谅他的行为，但也说：
“我兄——你过于固执己见，实为不可救药。任何小事于你不满，你都火冒三丈。”
蒋介石自己回忆说，在读了来访者带来的信后，他感动得几乎流泪，他决定返回广州。
陈炯明在击败他的对手桂系军阀后，手下已有几个师组成的庞大队伍，这时，他准备在中国南方建立自己的封建割据势力。因此，他对孙中山的继续西伐桂系的命令拖延不理，更不用说蒋介行的任何建议了。
1921年2月在在广州，蒋介石已察觉出陈炯明的野心，但孙中山还不相信。
蒋之所以仍然回到广州，一方面是由于孙中山再三催促，另一方面是他一直渴望有机会彻底铲除广西的残余桂军。此时，这位内政部长最愁的是缺乏经费，因此暂时还顾不上向陈炯明挑战。蒋介石认为，征收关税是筹集资金的最佳办法，但问题是在北京的外国使馆和公馆不承认广东军政府，拒绝与之合作，而陈炯明也支持外国使馆的态度。正是这个原因，促使孙中山进行选举，以当选非常大总统。因为这样一来，就使得他和北洋政府的首脑一样，具有平等的法律地位。