传说唐代风水大师杨筠松路过衡阳，也为这里的风水形势所吸引，遂停留数日，倍赞此地风水格局极佳。
回雁峰在衡阳城的风水格局中具有非常重要的地位。
由于回雁峰是南岳的首峰，因此南岳宗教界人士对回雁峰高度重视，认为它关系到全体衡阳人的利弊兴衰，于是特意在回雁峰上修建了重在保护衡阳城风水的寺庙——雁峰寺，而雁峰寺遂成名寺，日日香火旺盛。
在传统的风水景观体系中有一个基本的模式，它由一系列要素组成，使用的也是专门术语，其中一个为“水口”。
它是指城市前方河流出入之处，通常特指去水之地。
在风水中，水口被认为是关系到一个城市人才的多寡和财富积累的多少的重要关口，必须采取特殊的措施加以“关锁”和“镇守”。
这一手法在衡阳城的风水景观中表现得尤为突出。
衡阳城为锁住风水，先后形成了三道“水口”。
第一道“水口”位于城市北部蒸水汇入湘江的石鼓山地带。
石鼓山自西而东伸延于江中，东南北三面临水，形若半岛。
关于石鼓山的得名，一说山体形状像一只鼓，一说浪击石崖若鼓鸣。
晋