สวนจงซานตั้งอยู่ที่เชิงเขาทางใต้ของภูเขากู่ซาน ซึ่งเป็นส่วนหนึ่งของพระราชวังของจักรพรรดิโบราณ ตามประวัติศาสตร์ ในปี 12 ของราชวงศ์ซ่งสุ่ยในสมัยราชวงศ์ใต้ (ค.ศ. 122) พระราชวังไท่ยี่ตะวันตกขนาดใหญ่ได้สร้างที่ลาดชันใต้ของภูเขากู่ซาน และครึ่งหนึ่งของภูเขากู่ซานเป็นสวนของราชวงศ์