蒋介石开始接受军事教育了，但却是在中国，而不是在日本。1906年，尽管有段日子他曾抱病在身，但他还是通过竞争激烈的考试，考入了保定军官学校。
浙江报考者有1000多人，只考中了60人，他是这60人中的一个。但是有两件事对他不利：他是汉人而非满族人；另外他留着短发，在革命前的中国；这可能就会被认为是对帝国传统的蔑视，招致叛逆的嫌疑——被认为是一种具有危险思想的人物。
学校里的教员大多是日本人。由于他们国家刚刚打败沙皇军队，取得了辉煌的胜利，早些时候还战胜了中国军队，所以他们一个个都显得趾高气扬，毫不掩饰对中国人的蔑视。
有一次上卫生课，日本教员拿出一个土块，将它比作中国，看到学生们一个个脸上都露出迷惑不解的神色，这个教员解释道：“中国有四亿人，而他手中的那个土块正好有四亿个微生物。”
看到这，蒋介石胸中陡然升起一股怒火，他不顾军纪走上前去，把那土块一下掰成差不多大小的八块，两眼怒视着教员问道：“日本有五千万人，是否也像五千万个微生物，寄生在这土块的八分之一中？”
教员被问得哑口无言，可不一会儿，他用手指着蒋介石剪去了辫子的头威胁他说道：“你是个革命分子！”据说蒋答道：
“先回答我说的对不对，请别把问题岔开，”
在军校，是不允许学员这么做的。对蒋介石来说，他是冒了很大的风险的。他可能因此而被军校赶出来；还有可能被秘密逮捕。
他被召到校长办公室，算他走运，校长觉得他这么干有他自己的理由，只严厉训斥了他一顿，并不深究，这件事就这么了结了。
这年年终，有一批人数有限的学生被选送到日本去学习军事，蒋介石是其中之一。他懂得日本语，在选拨中派上了用场。
1907年春，他注册进入东京振武学堂。
在这段时间，他的同学们觉得他对人虽然彬彬有礼，但很冷淡，他对同学间的友谊并不大在意，常常对别人的友好表示无动于衷，这使他不大受人欢迎，他的同学们认为他傲慢。不过他对一个人是例外的，那就是张群——他是蒋介石当时的同学，并赢得了蒋介石的终生信赖。除了蒋夫人和蒋经国外，张群要算蒋介石最亲密的知己了。
当时的学习生活比他所能想象的还要艰苦，甚至超过他在母亲寡居时所受的困苦。一日三餐很简单：每顿一碗米饭，加上几小片鱼和一小盘萝卜，他强迫自己把分到的这点东西凑合着吃下，由此他渐渐养成了节俭的习惯并终生如此。
每到漫长的暑假，蒋介石总要千里迢迢赶回家去看望母亲（看妻子倒是次要的），不过每次他总要在上海停留去看望那里的革命者，并帮助他们征募人员和筹集资金。他这时尚未加入任何革命组织，尽管他的卫生课老师曾对他产生过模糊的怀疑。