“皋”是指近水之高地，“虞”则指掌山泽之官吏。前傍水，后依山，故曰“皋虞”。 臯虞古城至今已有2200多年的历史。城址坐落于青岛市即墨区温泉街道臯虞社区东皋虞村北。该址北依钱谷山，南面黄海，东西两面远山拱卫，形成天然屏障，堪称钟灵毓秀的风水宝地，孕育着古今人文精华。城址东西、南北各长400米，文化层深约2米。
据《汉书》记载，胶东王刘寄死后，长子刘贤继承王位，另一子刘建于汉武帝元封元年（公元前110年），被册封为皋虞侯，食邑皋虞县。从刘建受封开始，皋虞侯国沿袭了6代137年。这时的皋虞城既是县治，又是皋虞侯的都城。王莽建立新朝后，改皋虞县为“盈庐”县，皋虞侯废，王莽政权被推翻后，恢复原名。东汉时，皋虞县废除，其地并入不其县，皋虞城也逐渐荒废，直至明朝方有人来此立村。
此处还是汉代博士谏大夫王吉（王子阳）家族墓群的所在地，证明了琅琊王氏在这里的繁衍，人丁兴旺，王吉为官清廉，为人称道。他的后人从这里迁出后辗转到临沂、江浙一带，晋代“书圣”、《兰亭序》的作者王羲之就出自这一支，所以说，王羲之的祖居就在皋虞。王氏家族则是名副其实的望族。据历史记载，曾出过宰相（或相当于此职务）92人，皇后36人，驸马36人，文人名士186人，有600多人名垂青史。
洪武年间，明朝开国功臣之一，威震漠北，勇救歧阳王的指挥使李荣（皇明开国功臣录列455位）家族选择在此立村定居，李氏家族10代均为骁勇善战的明朝武将，多人任都指挥、卫指挥、千户等职。每一代都有人为大明王朝壮烈战死，得到过嘉靖皇帝的诏令表彰。其家族坟茔石像生中曾立有石人（按明礼志规定，只有二品以上官员的墓葬方可置两石人，文武各一）。
到了乾隆元年（1736年），杨氏家族的12世祖杨琯来到皋虞北山打猎，见此猎物很多，又见皋虞古村的风水颇佳。就这样，迁至此处落户繁衍至今，已经成了村中的大户。杨氏家族并不简单，堪称即墨历史上极有影响的书宦世家，从明初到清末的400余年间，杨氏家族共出过4名进士、9名举人，1名知府、1名通判和10名知县。
