在中国军队主力撤退后，只有一支小部队留了下来，这就是抗战史上著名的“八百壮士”。“八百壮士”其实是88师第524团第一营的官兵，对外称一个团800人，实则是一个加强营，官兵只有411人。当时南京方面决定让这样一支小部队继续留在闸北，主要也是向国际社会表明抗战决心并鼓舞士气，而“八百壮士”驻守的四行仓库位于苏州河北的西藏路桥，其建筑原本是上海四家银行（即金城、中南、大陆、盐业四银行）共同出资建设的仓库（建于1931年，占地0.3公顷，建筑面积2万平方米，屋宽64米，深54米，高25米，系一座钢筋混凝土结构的六层大厦，也是这一地块的高层建筑，非常坚固）。

    第524团第一营的营长为杨瑞符，谢晋元为团附（对外称团长，原团长为韩宪元，后在南京保卫战中殉国），他们在接到命令后即率所部官兵411人入驻四行仓库并掩护大部队撤退。等到大部队都撤走后，四行仓库的西面、北面已被日军占领，东面、南面则为公共租界，四行仓库成为一个“孤岛”，而驻守的“八百壮士”也就成了名副其实的孤军。

    “八百壮士”进入仓库不久，日军出动飞机坦克向四行仓库发起了猛烈的进攻，谢晋元、杨瑞符率领所部官兵顽强抵抗，屡创日军。在公共租界这一边，数以万计的民众不顾北岸日军的流弹四射，聚集在苏州河南岸，不断为官兵们加油鼓气，并利用夜间将食物等物品送过去，还有人用旗语向官兵们提供日军情报。10月28日黎明，女童子军杨慧敏冒着生命危险，将一面国旗裹在身上后冲过火线，献给了“八百壮士”，以表示对壮士们的崇高敬意。次日黎明，四行仓库的楼顶高高升起了一面国旗，隔河观望的民众激动得满脸泪花，无不拍手欢呼。

    “八百壮士”的精神很快传遍了国内外，国际上的一些知名报纸纷纷报道了以“八百壮士”为代表的中中国军队队顽强抗战的英勇事迹，为中国的抗战事业赢得了国际舆论的支持。不久，《八百壮士之歌》（作词：桂涛声，作曲：夏之秋）也很快被创作出来了：

    “中国不会亡，中国不会亡，你看那民族英雄谢团长；中国不会亡，中国不会亡，你看那八百壮士孤军奋守东战场。四方都是炮火，四方都是豺狼。宁愿死、不退让，宁愿死、不投降。八百壮士一条心，十万强敌不敢当。我们的行动伟烈，我们的气节豪壮。同胞们，起来！同胞们，起来！快快上战场，拿八百壮士做榜样。中国不会亡、中国不会亡、不会亡！”

    由于事前被租界当局警告，日军对四行仓库的进攻也不敢过分使用重武器，但他们决不能容忍这种情况继续发生下去。这时，租界当局也害怕殃及自身，在各方协调下，“八百壮士”最后奉命退出四行仓库。经过四昼夜的血战之后，谢晋元、杨瑞符率剩余的300多名官兵于11月31日撤入公共租界。但令壮士们十分气愤的是，他们在进入租界后便被缴械，随后被羁留在胶州路的一个营地里，除了少部分官兵在营长杨瑞符的率领下归队外，其余官兵都一直被扣押在租界。1941年4月，几名被敌人收买的叛兵利用早操的时候将谢晋元刺死，噩耗传来，举国震惊，国民政府随后通令嘉奖，追赠其为陆军少将。谢晋元将军如今被安葬在宋庆龄陵园，每到清明，前去吊唁的民众络绎不绝。

    中国军队撤至上海外围之后，日军大本营改变策略，其试图以速战速决的方式攻下国府南京，迫使国民政府投降，以尽快结束整个战争。11月5日至11日，日军从国内、华北、东北抽调大量部队在杭州湾登陆，试图迂回到中国军队的侧后并与在淞沪地区的日军形成包围圈，一举全歼中国军队主力。在这种情况下，蒋介石下令淞沪战区各部队迅速后撤，浦东、松江等地的中国军队也全部撤往后方。由此，上海除了公共租界外全部沦陷，淞