В 1441 году польский король Владислав III Варненьчик передал замок и всю Олесскую землю Яну из Сенны — для обороны русских земель от татар[3]. Большие татарские орды проходили по землям Олесской округи и подступали к замку в 1442, 1453, 1507, 1512, 1519, 1575, 1629 годах. В 1519 году в битве с татарами под Сокалем погиб владелец замка Фридерик Гербурт, а другой владелец Олесского замка, Станислав Данилович, в 1636 году погиб в татарском плену.