海瑞立即明白了徐阶的用意，这是想让他报恩。他极度厌恶这种行为：你徐阶难道是第一天出来混的，难道不知道我海瑞是什么样的人，在道德审判台前，恩情难道是可以交换的？

他满脸阴云地对徐阶说：“您当年救我是身为内阁首辅的职责，首辅不拯救忠臣，那就是奸贼。而我现在要您退地，也是我的职责。如果我对您家二十四万亩的土地置若罔闻，我也不是好官，连好人都算不上。”

虎父无犬子，徐阶还未开口，长子徐璠阴阳怪气地说道：“海大人真是明察秋毫啊，连我徐家有多少亩地都查得一清二楚。不过如果不是家父，您这颗会数数的脑袋恐怕早就搬家了吧。”

海瑞猛地站起来，咆哮道：“少废话，你们现在只有两条路：一、退地；二、跟我去大牢!”

徐阶的次子问：“你让我们退地，可有官方条文？”

海瑞又咆哮道：“你们那些地是劳动所得吗？你们心知肚明!找你们贪赃的证据就像是和尚头顶找虱子!”

徐阶意识到了，海瑞是个油盐不进的臭石头，跟他说话纯是浪费生命，他摆手示意送客。海瑞走到门口，停下来转身道：“我还会来的。”

海瑞说到做到，从此每天都来。大门不开，他就拼命地敲；徐阶在卧室不出，他就在客厅一坐一天，好像那是他的家。

徐阶唉声叹气，三个儿子决定为老爹排忧解难，于是写信给张居正。张居正当时日子也不太好过，高拱虽未回来，可赵贞吉在内阁嚣张跋扈。他只好回信安慰徐家三位少爷：“我抽空给海瑞写封信，希望能让他适可而止。你们现在最应做的有两件事：第一，停止一切生意(徐家在松江府有很多官商勾结的生意)；第二，用心照顾你们的爹，徐老师年纪大了，经不起折腾。”

张居正是否给海瑞写信，史无记载。但在徐家三少爷给张居正去信后，海瑞来徐府的次数明显减少。1570年春节，海瑞还来给徐阶拜年，送上几斤上好的面条。海瑞对徐阶说：“老人吃面对肠胃好，但这面在南方买不到，我是特意托朋友从陕西带来的。”徐阶有些感动，海瑞及时补充说，“我是给了朋友钱的，连运费都算给他了。”

徐阶老谋深算，感动之后马上就是警惕，他虽然知道张居正必会从中周旋，但人尽皆知，海瑞是谁的账都不买的。果然如此，海瑞正迂回进攻，他慢悠悠地对徐阶说：“前几日赈济贫民，有个富豪捐了三万两白银，徐公遐迩闻名，可否向贫民施舍点？”

徐阶老大不高兴，这倒不是他贪钱，他那样的人到了那样的年纪对钱财已没有概念。关键是他总感觉处处受海瑞的压迫，尤其是最近他心情很不好，因为高拱复出了。

但架不住海瑞总来“拜年”，徐阶不情不愿地拿出了五千两银子应付海瑞。海瑞也老大不高兴，暗示徐阶：“您老别给脸不要脸，高阁老在北京可很关注应天情况啊。”

徐阶听到这句话，浑身发汗，他此时最怕的就是高拱算旧账。而高拱的确也和海瑞探讨过徐阶家产的问题，并且告诉海瑞：“你放心地干，天下人都知道你是道德圣人，用你的道德给应天地区一片湛蓝的天。”

徐阶的五千两银子刺激海瑞重启要徐家退地的行动，他要徐家把二十四万亩土地全部退还。徐家三少爷再给张居正去信，张居正回信说：“我也是心有余而力不足，可否和海瑞谈判少退？”接着他话锋一转，看似轻描淡写地说了一句，“海瑞不离开应天，这事始终是个麻烦啊。”

这句话开启了徐家三位少爷的智慧，徐璠动用京城关系网，把一箱箱金银财宝运到北京。当海瑞在应天紧锣密鼓地要徐家退地时，徐璠的金钱攻势立竿见影。

1570年二月，吏部言官戴凤翔弹劾海瑞，说：“他贪图个人名利，祸乱法纪，完全不通为官之道。最可恶的是海瑞居然煽动民众掀起告状风潮。亏他还自称道德完人，孔子说诉讼是不得已而为之，他居然大肆鼓励。刁民肆意讼告乡绅，海瑞无理剥夺他人财产，致使民间有‘种肥田不如告瘦状’的风闻。”

朱载垕交由内阁讨论，李春芳主张将海瑞调离岗位，去南京当闲差，张居正也主张，赵贞吉本来想中立，可一见高拱反对，他立即同意李春芳和张居正的意见。就这样，海瑞在1570年二月末被调去南京，坐上了冷板凳。临行前，海瑞对着徐府叹息垂泪，大有出师未捷身先死之意。

实际上，高拱对海瑞搞徐阶是没有任何意见的，但对海瑞在应天境内大搞官员乡绅，有一肚子腹诽。官员和乡绅是二位一体，只有乡绅有钱培养子弟读书考取官员，官员在任时维护乡绅，退休后做乡绅，这是题中应有之义。海瑞却像只进了沙丁鱼罐头的鲇鱼，把这个宁静世界冲得七零八落，没有一个官员会支持他。

有人问高拱对海瑞的评价，高拱脱口而出：“人是个好人，但不会做事。”