เดิมที Retiro เป็นสถานที่พักผ่อนทางจิตวิญญาณของคู่รักที่มีอำนาจสูงสุดของสเปนอย่าง Isabella และ Ferdinand แต่ต่อมาได้กลายเป็นพระราชวังแห่งความสุขเมื่อ Felipe IV ผู้เคร่งศาสนาน้อยกว่าสวมมงกุฎ
สร้างขึ้นโดย Conde Duque de Olivares ซึ่งเป็นผู้เทียบเท่ากับนายกรัฐมนตรี โดยมีอาคารมากกว่า 20 หลังที่สร้างขึ้นระหว่างปี 1630 ถึง 1660 เพื่อเอาใจกษัตริย์เพลย์บอยผู้ซึ่งชอบงานเต้นรำ ละคร และการแสดงจำลองการรบทางเรือที่จัดขึ้นบนทะเลสาบกลางสวนสาธารณะ
Palacio de Velazquez ไม่ใช่หอศิลป์ Reina Sofía แห่งเดียวที่อยู่ใกล้ๆ หากไปทางทิศใต้ คุณจะพบกับ Palacio de Cristal ซึ่งเป็นเรือนกระจกขนาดใหญ่ที่สร้างขึ้นในปี 1887 เพื่อเก็บพันธุ์ไม้ที่นำมาจากฟิลิปปินส์ ซึ่งในขณะนั้นเป็นอาณานิคมของสเปน น่าเสียดายที่ในเวลานั้น ชาวพื้นเมืองฟิลิปปินส์ก็ถูกพามาและถูกบังคับให้อาศัยอยู่ใน "แหล่งที่อยู่อาศัยตามธรรมชาติ" ของพวกเขาข้างสระน้ำประดับที่อยู่ด้านนอก ประวัติศาสตร์อันมืดมนของสวนสัตว์ของมนุษย์แห่งนี้ได้รับการเปิดเผยและประณามอย่างถูกต้องในนิทรรศการในปี 2021 โดยศิลปินชาวฟิลิปปินส์ Kidlat Tahimik ซึ่งจัดขึ้นในพื้นที่แห่งนี้