Время начала строительства Олесского замка неизвестно. Возможно, Олесский замок начал строиться вскоре после опустошения монголо-татарами в 1241 году древнерусского города Плеснеск[2]. По данным исследователей XIX века, неподтверждённым современным состоянием изученности источников, впервые замок упоминался в 1327 году; из этого делали вывод что он был построен одним из сыновей галицко-волынского князя Юрия Львовича — Андреем либо Львом.