Олесский замок в плане имеет овальную форму и расположен на естественном холме высотой около 50 метров. Замок прошел три периода строительства:
1) конец XIII — начало XIV веков, создание древнерусской крепостной стены;
2) XV — начало XVI веков, строительство внутри стен двухэтажного сооружения;
3) конец XVI — начало XVII веков, расширение замковых помещений.