代庾仲初在观石鼓诗中说：“鸣石含潜响，雷骇震九天”，就是指二水交汇的巨浪，拍打着石鼓山崖壁，发出击鼓般的声音，非同凡响。
石鼓山是一个登高远眺的好地方，为锁风水，加强镇守作用，特别在半岛上建有观景亭等建筑，并建有类似文昌阁的书院建筑。
相传诸葛亮在前往零陵等地督察军务时曾在此居住。
唐元和年间，衡阳人李宽在山上筑庐读书。
北宋景佑三年，钦赐匾额“石鼓书院”，使石鼓书院与睢阳、岳麓、白鹿洞齐名，并很快发展为当时全国著名的四大书院之一。
朱熹、张轼、王船山等著名学者均来此讲学，石鼓书院一时名声鹊起。
许多人解释为这里之所以文运昌盛、人才辈出，与镇守水口的做法密不可分。而“石鼓江山锦绣华”，也成为“衡阳八景”之一。
第二道“水口”位于城市北部蒸水汇入湘江的河流西岸的合江套三汲矶上，与石鼓山遥相对峙。
为强化“出水口”的镇水功能，巩固衡阳城的风水，明代有人在此修建了一座宝塔，名叫“来雁塔”，此塔系楼阁式砖石塔，坐北朝南，七级八楞，通高36米。
塔名为清同治年间兵部尚书、衡阳籍人士彭玉麟所