Еще в начале XX века бассейн для воды из источника был выложен обожженным кирпичом, а в конце пещеры находилась каменная плита с высеченным ликом святого, очевидно, Стефана Сурожского. Предания гласят, что святой Стефан именно это место избрал для уединения и молитв. Самой знаменитой паломницей Кизилташа была болгарская девушка Константина, которая в 1830 году поселилась в пещере святого Стефана, а впоследствии основала Топловский женский монастырь святой Параскевы.