Хрестовоздвиженська церква розташована над Ближніми (Антонієвими) печерами. Вона була побудована 1700 р. на місці дерев’яної, коштом полтавського козацького полковника Павла Семеновича Герцика. Архітектура храму до нашого часу збереглася без змін. Із заходу у другій половині XVIII ст. добудували трапезну. Зовні церква порівняно скромно прикрашена, що є характерним для стилю раннього українського бароко.