一八”事变后，日本人又把侵略的魔爪伸向了华北，并试图拉拢段祺瑞出来充当代理人。为防止段祺瑞为日本人所用，蒋介石在1933年1月21日派人将段祺瑞从天津接到南京，在浦口乘船过长江的时候，蒋介石率一批高级将领亲自前来迎接并执弟子礼（蒋介石留学日本士官学校前系北洋速成武备学堂统一送出，当时段祺瑞为学堂督办，也算是有师生之谊）。此后，段祺瑞便定居在上海。

    1936年11月2日，段祺瑞因胃溃疡引发大出血而去世，享年七十二岁。临终前，段祺瑞曾写下亲笔遗嘱，谆谆告诫后人：“国虽危弱，必有复兴之望。复兴之道亦至简单，勿因我见而轻起政争，勿信过激之说而自摇邦本。讲外交者勿弃固有之礼教，求学者勿骛时尚之纷华。所谓自立更生者在此，转弱为强者亦在此矣。”

    由于段祺瑞生前信佛，其葬礼也是照他的遗嘱以居士礼简葬。在各界名流的吊唁中，有几副挽联特别显眼，一副是冯玉祥的：“白发乡人空余涕泪，黄花晚节尚想功勋”；另一幅是吴佩孚的长联：

    “天下无公，正未知几人称帝，几人称王，奠国著奇功，大好河山归再造；

    时局至此，皆误在今日不和，明日不战，忧民成痼疾，中流砥柱失元勋。”

    段祺瑞死后，由于其长子段宏业坚持要将其灵柩送往北京安葬，但因为日本侵华导致的时局变动，以至于十多年都无法找到合适的下葬地，最后只能草草葬在段祺瑞三弟之前买好的坟地，位置就在人来人往的大道旁边。对此，段祺瑞的一些生前故旧忍不住叹息：“想不到老头子轰轰烈烈一辈子，死后竟然没有一块葬身的地方！”

    直到1963年，在段祺瑞生前的好友章士钊、李思浩、曾毓隽等人的努力下，才最终将段祺瑞的遗骨起出，并重新安葬在北京西郊香山附近的万安公墓中。作为民国年间的大人物，段祺瑞一生不蓄私财，不徇私情，不拥兵自重，这在军阀中，无论如何都算是至为可贵了。