解官以後，李贄冇有回客籍，而是到了湖北黃安一個名叫耿定理的老朋友那邊住下來，著書講學。萬曆十二年，耿定理歸天，李贄便移居麻城，一向到現在。

趙洛歎道：“落拓日久，也是無趣。家叔回籍時，給我下了禁足令，不準我分開豐城，讓我放心在家打理家業。實在，這家業有祝先生管著就很好了，我隻是多餘之人罷了。”