格林沁已一路败退，联军前锋，抵达通州张家湾，瑞麟和胜保在八里桥拒敌，接战即溃，退守京师，在安定门外又打了一仗，依旧大败，因此瑞麟被革了职，跟着文宗逃难到了热河。

    等和议一成，被革职的官员，纷纷起用，瑞麟以侍郎衔派到僧格林沁军中效力，在山东剿捻，攻巨野羊山集匪巢不利，而且马失前蹄受了伤，逃到济宁。这一下又被革职。

    第二年文宗崩逝，接着发生“辛酉政变”，瑞麟由于慈禧太后的提携，以镶黄旗汉军都统，调为热河都统，不久又调为广州将军。毛鸿宾降调，瑞麟更兼署两广总督，在广州卖缺纳贿，毫无顾忌。公事都交给一个幕友徐灏，他自己躲在衙门里，除了讲究饮食和欣赏顺德女佣的天足以外，便是不断闹笑话，为广州人上茶楼“一盅两件”之余，平添许多有趣的话题。

    旗人的笑话，以认白字为最多，瑞麟的官大名气大，所以认白字的笑话更出名。有一次遇到广州的米价大涨，他问属员，是何缘故？那人答了四个字：“市侩居奇。”居奇是听懂了，市侩二字却不懂，他诧异地问道：‘四怪’是什么人哪？”

    不过他为人憨厚，颇有自知之明，所以一个姓宓的同知，分发到省，初次谒见总督时，他拿着“手本”老实说道：“老兄的姓太僻，我不知道是个什么字。请你自己说吧！”听见的人都想笑不敢笑。

    瑞麟的这些笑话，朝廷当然有所闻，他在广州的“官声”，朝廷更有所闻。但是他“好官自为”，能屹然不倒，这不仅因为内有慈禧太后的眷顾，而且从恭王以下，凡是满洲的王公大臣，都愿意维持瑞麟。这固然由于他出手大方，人缘极好，而最主要的一个原因是，开国至今，两百年来，汉人势力之大，前所未有，十五省巡抚，只有一个安徽巡抚英翰是满洲人，包括“漕运”、“河道”在内的十个总督，亦只有湖广总督官文和两广总督瑞麟是满洲人。及至官文为曾国荃不顾一切，断然奏劾，由查案的谭廷襄接署以后，瑞麟更成了一名硕果仅存的督臣。倘或再由吴棠接替，则天下总督，尽为汉人，满洲臣民，自然不服，所以不管瑞麟如何贪墨，仍旧要维持在位。诚然，瑞麟不足以胜任此职，但满洲大员，几乎都是一丘之貉，倒不如顺从慈禧太后，把他留在任上的好。

    这是内幕中的内幕，了解的只有极少数的人，而此“极少数”的人，连安德海都未包括在内，包括在内的，自然有恭王。

    奉到赴广州查案的上谕，吴棠知道自己决不会再回任了，所以离开福州时，就象奉调那样，把眷属行李，扫数带在身边，并且亲笔点派两百名兵丁护送。由福州坐轮船到上海，派人把眷属先送回安徽盱眙老家，然后由上海再坐轮船到香港，转道广州去查案。

    在上海的时候，吴棠才知道瑞麟得慈禧太后眷注的原因跟自己一样，而且他是旗人，比自己更占便宜，所以已不存取而代之之想。也因为如此，他把广州查案，当作珠江揽胜，从容不迫地慢慢行去，到了广州，也不讲钦差大臣应有的“关防”，虽然表面上不便公然与总督酬酢，暗地里却是轻车简从，日日欢叙快饮。

    瑞麟和吴棠都是天生福人，健于饮啖，瑞麟家厨所烹调的鱼翅，是连“食在广州”的富家都自叹不如的，所以吴棠大快朵颐之余，对瑞麟颇有相见恨晚之感。

    案子当然也要查，查明的原因是蒋益澧有左宗棠撑腰，借裁陋规与总督争权，而杯酒言欢之间，得知瑞麟亦无意与蒋益澧为难，只要他离开广州，余非所问，于是吴棠奏复：“蒋益澧久历戎行，初膺疆寄，到粤东以后，极思整顿地方，兴利除弊；惟少年血性，勇于任事，凡事但察其当然，而不免径情直遂，以致提支用款，核发勇粮及与督臣商酌之事，皆未能推求例案，请交部议处。”

    吏部议复，请将蒋益澧降四级调用，慈禧太