冯保因多次潜返内宫与裕王府之间，替吕芳和裕王暗递消息，早就遭嘉靖帝厌恶。严党倒了台，嘉靖帝失去了对付百官的力量，早就犹豫着想启用心狠手毒的陈洪取代吕芳。遂命陈洪宣旨，将冯保逐出王府解往朝天观服苦役。世子自是舍不得，陈洪有意无意激怒李妃，自己挨了责罚。到嘉靖帝前，把箭射向吕芳，让嘉靖帝把账算到吕芳头上去。嘉靖帝果然立刻传旨，从提刑司镇抚司开始除“草”。忍痛将跟了自己四十年的吕芳发配到南京为太祖高皇帝守陵。