A középkori vár a város történelmi nevezetessége, és közvetlenül a központjában található. I. Lajos király építtette 1360–1382-ben az eredeti 12. századi régi kastély (Pustý hrad) helyén. mint a vadászház. A kastély több gazdát cserélt, és egyben Magyarország egyik leghatalmasabb hercegének, Brandýs Ján Jiskra székhelye volt, aki hosszú ideig Szlovákiában dolgozott és a magyar trón kapcsán védte a Habsburg család érdekeit. 1500-ban a Thurz család tulajdonában volt, akik megépítették a külső erődítményeket, majd a tüzérségi bástyát. A kastély fokozatosan további módosításokon ment keresztül, és az utolsó, reneszánsz gyakorlatilag a mai napig megmaradt.
Nemzeti kulturális emlékmű és ma a Szlovák Nemzeti Galéria található benne, ez az előőrse. Ez Szlovákia leggazdagabb festménygalériája. A galéria festők festményeiből áll, a XIV-XIX. a földszinten és az első emeleten különféle művészettípusok, témák és stílusú kiállítás látható. A nyári szezonban minden évben színházi fesztivált rendeznek a Zvoleni Várjátékok néven a kastély udvarán. A kastély megközelítése nagyon jó, mivel a város központjában található, és közvetlenül mellette van egy fizetős parkoló. További információ a kastélyról, a belépésről és a nyitva tartásról ITT található.