Правдоподібно, саме поселення виникло разом з будівництвом замкового комплексу, який виник на початку ХІІІ століття через необхідність оборони від нашестя монголо-татар. Ці дерев’яні споруди кілька разів були знищені татарами, але саме на їх місці литовські князі Корятовичі, які володіли Поділлям з 1331 р., змурували замок. Неодноразові руйнування укріплення татарами та волохами, збройна боротьба між польськими й козацькими військами, зокрема в 1510, 1515, 1518, 1615, 1651 роках, спонукали до постійної розбудови й зміцнення замку. Наступне будівництво укріплення пов’язане з родиною Лянцкоронських. З 1515 р. замок у власності Кам’янецького старости Станіслава Лянцкоронського, пізніше переходить у спадок його нащадкам, які проводили часткову реконструкцію споруди. Але, незважаючи на це, замок на початку ХVІІ століття кілька разів був здобутий і значно пошкоджений. 

В 1615 році його взяли штурмом татари. В 1648 і 1651 роках ним оволоділи повстанці, що піднялися на боротьбу проти польської шляхти під проводом Богдана Хмельницького. З 1641 до 1657 р. замком володів коронний гетьман Станіслав Лянцкоронський. В середині ХVІІІ століття староста Скали Адам Тарло проводить на замку реставраційні роботи та зміцнює оборонні мури і вежі, надаючи їм барочного вигляду, але, як свідчать хроніки, після закінчення реставраційних та відновлюючих робіт замок загорівся від удару блискавки і після цього вже не відновлювався.