Между тем язычники продолжали приезжать на остров и поклоняться бесам у Конь-камня. Преподобный Арсений, чтобы разрушить эти суеверия, с молитвой окропил святой водой Конь-камень, и тут, как говорит предание, бесы в облике ворон выскочили из камня, улетели на выборгское побережье и рухнули в глубокий залив (лахту), который с той поры зовётся Чёртовой лахтой. На вершине камня преподобный Арсений поставил небольшую часовню и келью. Спустя год Арсений Коневецкий срубил на острове деревянную церковь во имя Рождества Богородицы. Так началась история Коневецкого монастыря.