Prema nekim procjenama, Kastel su najvjerovatnije sagradili Rimljani, a tvrđava je sa svih strana opasana kamenim zidinama na kojima su podignute puškarnice i osmatračnice, što govori da je u prošlosti bila veoma snažno vojničko utvrđenje.
U prošlosti su na ovom području izvršene geološke iskopine raznih predmeta i novca kojim su se služili stari Rimljani, a na mjestu tvrđave nalazilo se rimsko vojničko naselje Castra.
Unutar zidina danas su smješteni park, ljetna pozornica, igralište za djecu i nacionalni restoran. Odlukom Evropske unije zaustavljeno je propadanje Kastela pa je obnova “Cjeline 9” u velikoj mjeri završena 2013. godine, a za potpunu obnovu ove cjeline izdvojeno je 2,5 miliona eura. U 2014. godini obnovljena je “Cjelina 2” iznosom od 1,13 miliona eura.
Za potpunu obnovu Kastela potrebno je još dvadesetak miliona KM, a najveći problem predstavlja artiljerijska kasarna koja je projektom predviđena kao hotelski smještaj.
Ipak Kastel je kao najstariji banjalučki spomenik svoj današnji oblik dobio početkom 18. vijeka kada se Turska, koja je vladala ovim prostorima, pripremala za novi rat sa Austrijom.
Uprkos svemu, na mjestu gdje su se vodile borbe, danas hodaju mladi, fotografišu se mladenci, a već devet godina zaredom se održava i banjalučki Demofest.