抗倭名将戚继光早些年的时候，他和妻子王氏感情深厚，然而经过十几年来，其妻子所生的孩子全部不幸夭折在那个信奉“不孝有三、无后为大”的年代，戚继光非常的想要一个孩子，但是不敢跟妻子说，最后他只好瞒着妻子，在12年先后偷偷纳妾三人，纳的妾也先后给他生了五个儿子。多年以后，王氏还是发现了，心里无比的痛苦，使得王氏做出了手持比首要去杀丈夫的事，但最后夫妻两人还是抱头痛哭。后来，经过一家人的商榷，最后把小妾所生的儿子戚安国过继给王氏抚养，才算了一桩心事。然而，当他回到家后，儿子戚安国也病逝了，王氏万念便灰、离家出走。正因为这样，在他的晚年，就愈发孤独和落寞。
戚继光被罢官后，北方的蒙古人仍然不时入侵，东北的女真人正在崛起，但大明国却仍然醉生梦死。由于这时候的他太孤独了，就经常登上东海边的蓬莱阁，静静的看着远处大海发呆，常常想自己的当年热血事迹，有时候也跟他的儿子们讲讲自己如何抗击倭寇、征战蒙古、护卫边疆的往事。不管多么壮怀激烈，这个时候都化成了白发感慨和无语沧桑。
戚继光在被从广东罢官后的第三年，即1587年一篇献写给家庙的祝文中，他向祖先价汇报总结自己的一生：“虽用祖宗之积已多，未能为之益，亦未敢为祖宗累也。”他将是前后数百年中，戚氏家族最大的荣耀，然而他还是如此谦逊，而这也更是一种经历戎马风雨和政治运动后，更多的是戚继光对自己晚年孤独落寞的无声感慨。
在野史的传说中，说他曾经买过“千金姬”进献给张居正；似乎为了办事，有时也“手段特殊”；而写《明史》的张廷玉等人，则说戚继光瞒着老婆娶妾“操行不如”。然而历史的现实是，他一生奉公爱民，对有困难的部将和士卒慷慨解囊、倾情相助，自己却在晚年被罢官返乡后，一贫如洗，临死前，甚至连看病买药的钱都没有，连一个郎中都请不起。一直到他死后，人们才发现，戚继光“四提将印，佩玉三十余年，野无成田，载无宿嫉，惟集书数千卷而已”。这与那些不惜污蔑他的政治对手们倾力传播的故事和传说相去甚远。
