Характерный "двугорбый" силуэт острова образуют две горы - Святая и Змеиная. Здесь, на Святой горе, в конце XIV века преподобный Арсений Коневецкий основал монастырь во имя Рождества Богородицы.
У подножия Святой горы с незапамятных времён лежал громадный камень из серого гранита, которому поклонялись местные язычники. Они приносили духам камня в жертву лошадей, считая, что за это духи камня будут охранять их стада. Язычники так и звали его - Конь-камень. По имени камня остров получил название Коневец.