สวนหยางสือสร้างขึ้นในสมัยราชวงศ์ซ่งใต้ (ค.ศ. 1127 ถึง 1279) สถานที่เดิมของ "Wanlutang" ของนักเขียนและนักบวชของราชวงศ์ซ่งและเจ้าหน้าที่ที่ทําหน้าที่เป็นนักเขียนและข้าราชการ สวนแห่งนี้มีชื่อว่า "Yuyin" ต่อมาถูกทิ้งร้าง ในช่วงปี Qingqianlong (ประมาณ 1770 ค.ศ. 2370) วัด Guanglu เกษียณราชวงศ์ซ่งหยวนซื้อและสร้างใหม่ สวนถูกเรียกว่าสวนสุทธิ