Das Zentrum von Čabar wird vom Schloss (Herrenhaus) von Petar Zrinski aus dem Jahr 1651 überragt, das aus einem Komplex aus vier Gebäuden besteht, die um einen zentralen Innenhof und zwei Türme angeordnet sind, die durch eine Verteidigungsmauer miteinander verbunden sind. Es gibt eine interessante Geschichte über einen geheimen Tunnel, der vom Erdgeschoss der Burg zum Tropetar-Felsen oberhalb von Čabar führte, wo es im Gefahrenfall einen Ausgang gab. Über den Tunnel gibt es keine Aufzeichnungen, lediglich Aussagen älterer Ortsbewohner, dass darin öfters alte Waffen und menschliche Knochen gefunden wurden, bevor der Eingang zum Tunnel aus Sicherheitsgründen zugemauert wurde.

Von dieser Zeit bis heute sind Teile der Mauer, Türme und das Gewölbe im Erdgeschoss des Zentralgebäudes erhalten. Im Schloss gibt es eine einheimische Sammlung, eine Galerie mit Gemälden von Vilim Svečnjak und ein Interpretationszentrum namens „Auf den Wegen der Frankopan“.