犹如天崩地震，日亡月殁，又好比昆仑倾圮，黄河倒流，《马关条约》的签订，对大清王国、对中华民族的打击和震动是史无前例、惨痛无比的。
它让大部分中国人深感愤恨，既愤恨这个东洋鬼子的凶残贪婪，又愤恨朝廷的无能软弱，最后又把这种愤恨几乎全集中在李鸿章一个人的身上，众口一辞骂他汉奸。昔日红得发紫的一代雄杰，如今落到通国不容的地步。他被革去一切实职，只留下一个文华殿大学士的虚衔，龟缩在贤良寺里，忧郁孤独，门可罗雀。《马关条约》也让不少中国人深感失望，隔海相望的蕞尔小国，历史上从来都是在堂堂大中国的面前低一截矮一头，现在居然可以称王称霸，欲将中国拼人它的版图，可见中国如今腐朽到何等地步！人口虽多，却一盘散沙；军队虽多，却形同乌合。许多人在摇头叹息，在自哀自怜：中国的命运不知将伊于胡底！也有少数强悍者，他们将失望化为怨恨，怨恨慈禧、光绪为首的整个满洲政权。他们认为都是这些关外来的满洲人将中国弄得如此一塌糊涂，使本来辉煌的中华文明蒙羞含垢，所有罪责应由满洲人来承担。自从明崇祯甲申年北京沦落之后，中国实际上已经亡国，中国人至今已做了二百多年的亡国奴，只有驱逐胡虏，才有中国的复兴。他们在暗中结社立会，集聚力量，寻找机会，以四十年前的洪秀全、杨秀清为榜样，揭竿起事，光复汉室。《马关条约》也让不少中国人开始对国家的现状和未来作深入的思索。思索给他们最大的启发是：国家之所以如此受辱，其原盖出于弱，要使由弱到强，除加速发展以军事为主要内容的自强事业外，还要对有碍于自强的各种陈规陋习，乃至律令法则作相应的改变。这一批人多为士林中的热血青年和官场中颇思作为的开明派。张之洞属于这一种人，并因他的地位和办洋务的业绩，成了他们中众望所归的首领。
中国和日本发生冲突以后，张之洞一秉当年清流本性，态度强硬，力主以牙还牙，并主动为朝廷出谋画策，运筹帷幄。高陞号运兵船被曰军击沉后，其中有五个英国人为此丧生。张之洞向朝廷建议，联合英国一起来谴责日军的暴行。在战争进行过程中，他多次致电李鸿章，向他提出自己的军事建议。威海失手后，他甚至电商自己的老部下现已升为台湾巡抚的唐景崧，请他趁眼下日本国内空虚，派一支舰队奇袭日本本土。可惜，张之洞的这些努力均未奏效，事态的恶化，令他忧虑万分。
在李鸿章赴马关与日本商谈条约时，张之洞多次电奏朝廷，认为日本的条件太苛刻，对此万不可答应，否则中国将从此不能自立。不如拿这些银子购兵舰、募洋将，与倭寇决一死战。条约签订后，他又致电唐景崧和不久前奉命赴台筹办台湾防务的南澳镇总兵刘永福，要他们利用台湾绅民反对割台的民气，拖延交割，以便尽最后的努力，争取国际于涉，不让台湾从祖国的领土中分割出去。然而，张之洞的这一切努力也都白费了。尤其令他痛心的是，在此生死存亡之际，他曾寄与重望的唐景崧与过去的战友反目，为着个人的权力名位而明争暗斗，不能合作对敌。经过一番反抗、抵御后，唐、刘二人先后渡海回归大陆，台湾被日本强行占领了。谁也没有想到，这一占领便是整整的五十年。