โบสถ์คิชตั้งอยู่ในเมืองคิช ห่างจากเมืองเชกีเพียงไม่กี่กิโลเมตร ในปี 550 ก่อนคริสต์ศักราช อะโทรบัตส์ ผู้ว่าการชาวมีเดียแห่งจักรวรรดิเปอร์เซีย ได้ตั้งชื่อสถานที่แห่งนี้ว่า "อาเซอร์ไบจาน" ซึ่งหมายถึง "ได้รับการปกป้องด้วยไฟ" ในศตวรรษที่ 4 หลังคริสต์ศักราช ชนเผ่าที่เรียกตัวเองว่าอาร์รันได้ก่อตั้งราชอาณาจักรแอลเบเนียขึ้น โดยมีอาณาเขตครอบคลุมเทือกเขาคอเคซัส และค่อยๆ เปลี่ยนจากศาสนาโซโรแอสเตอร์ของเปอร์เซียมาเป็นศาสนาคริสต์ ตั้งแต่ศตวรรษที่ 7 หลังคริสต์ศักราช ราชอาณาจักรแอลเบเนียถูกพิชิตโดยชาวอาหรับ มองโกล ติมูริด และจักรวรรดิออตโตมันตามลำดับ จนในที่สุดก็หายไปจากประวัติศาสตร์โดยสิ้นเชิง การแตกแยกกันระหว่างเปอร์เซีย จักรวรรดิออตโตมัน และรัสเซียในช่วงศตวรรษที่ 16 ถึง 18 เป็นสาเหตุสำคัญที่ทำให้ปัจจุบันอาเซอร์ไบจานถูกแบ่งออกเป็นสามประเทศ อาณาจักรแอลเบเนียแห่งคอเคซัสเคยครอบคลุมพื้นที่ส่วนใหญ่ทางตอนเหนือของอาเซอร์ไบจาน แต่มีเอกสารทางประวัติศาสตร์น้อยมาก และยิ่งมีโบราณสถานเกี่ยวกับอาณาจักรแอลเบเนียแห่งคอเคซัสน้อยลงไปอีก ทำให้โบสถ์แห่งนี้มีความสำคัญทางวัฒนธรรมเป็นพิเศษ ชาวอาเซอร์ไบจานพยายามลบเลือนร่องรอยการอยู่อาศัยของชาวอาร์เมเนียในดินแดนของตนมานานแล้ว โดยอ้างว่าพื้นที่เหล่านี้เป็น "ส่วนหนึ่งของอาเซอร์ไบจานมาตั้งแต่สมัยโบราณ" ปัจจุบันโบสถ์แห่งนี้ได้ถูกดัดแปลงเป็นพิพิธภัณฑ์แอลเบเนียแห่งคอเคซัส ซึ่งบอกเล่าเรื่องราวในอดีตอันซับซ้อนของภูมิภาคคอเคซัส ภายในจัดแสดงประวัติศาสตร์ที่เกี่ยวข้อง และผู้เยี่ยมชมสามารถมองเห็นซากโบราณสถานด้านล่างผ่านกระจกบนพื้นโบสถ์ได้