准确地说，嘉靖并不是因为吕芳被人称作老祖宗才大发雷霆的，而是因为吕芳为求后路接近裕王，加上他的子孙们办事不力，导致他丢了颜面、坏了名声。嘉靖对吕芳不满，陈洪故意装作看不懂，还喊了一句老祖宗，让嘉靖更加冒火。而吕芳自始至终都是波澜不惊的样子，就算是说奴婢甘愿领罪之时也是不卑不亢。
在嘉靖的帝王平衡术之上，吕芳是他伸出去的一只手，代表的是他。剩下的两方，很明显一个是徐阶的清流，一个是严家父子了。嘉靖最为安心的时候就是这三方都在制衡、稳定的时候。在严家倒台之后，嘉靖的理想状态是两者对立，控制好局面。
吕芳应该是无条件忠*靖皇帝的，原则上不可以偏向另外两方，但这个时候已经向裕王、徐阶靠拢，让冯保去给世子当大伴。嘉靖疑心病重，当然会对吕芳的做法十分不满。然发火归发火，嘉靖帝对吕芳的忠心其实是非常明白的，他知道即使这么多人喊吕芳老祖宗，吕芳依旧把自己当做他的奴才。
嘉靖对人们叫吕芳老祖宗的事情难道不知晓吗？他告诫过吕芳：你本来没有儿子，但儿子是最多的。有这么多儿子累不累？死了的人才被后人叫老祖宗，你被人叫老祖宗有什么好得意的。这些话有谴责吕芳的意思在，但是细听之下，其实是怪吕芳认儿子就算了，为儿子周全使了那么大劲，吃力不讨好，还败坏了他的名声。嘉靖气愤之时骂道：这深宫之中到处都是“芳草”，就连我的儿孙处都是。嘉靖对吕芳靠拢清流，打他的儿孙的主意是十分介意的。
另外，嘉靖也对未来用人有了打算，严嵩倒台之后，他需要一个绝对心狠手辣的人来做事，这个人必是横死，吕芳做不到完全没有底线，陈洪就是嘉靖的最佳人选，况且陈也急着上位。嘉靖知道自己没有多少日子了，他死后朝廷肯定会有剧变，吕芳这个老祖宗在他手下尚无性命之忧，但是他死了之后，很多人会觉得吕芳挡住他们的去路。
所以嘉靖将吕芳送走也是为了保他，是对吕芳功成身退之后做出的最好的安排。他送给吕芳符纸的时候，背对着吕芳躺在床上潸然泪下。后来黄锦给他搓脚的时候，嘉靖说自己父母死得早，就吕芳跟他贴心。嘉靖在整部电视剧之中都是阴谋家的形象，在对吕芳的感情处理上，却有一丝温情。