Родился 19 октября 1829 года в селе Сура Пинежского уезда Архангельской губернии, был первенцем в бедной семье. «За слабостью здоровья»[5] был крещён в доме в день своего рождения и наречён в честь преподобного Иоанна Рыльского.
Дед (по отцу) — Михаил Никитич Сергиев, родился в 1779 году, священник Сурского прихода[6]. Другие предки в роду отца были священниками на протяжении по меньшей мере 350 лет[7]. В документах среди церковнослужителей Пинежского уезда упоминаются Яков Сергиев (1687) и Михаил Сергиев (1755—1756)[8].