Središtem Čabra dominira kaštel (kurija) Petra Zrinskog iz 1651. godine, a čini ga sklop od četiriju zgrada smještenih oko središnjega dvorišta i dviju kula međusobno povezanih obrambenim zidom. Zanimljiva je priča o tajnome tunelu, koji je iz prizemnih prostorija dvorca vodio do Tropetarske stijene iznad Čabra, gdje se nalazio izlaz u slučaju opasnosti. O tunelu nema nikakvih zapisa, tek svjedočanstvo starijih mještana kako se, prije nego što je ulaz u tunel zbog sigurnosti zazidan, u njemu znalo naći staroga oružja i ljudskih kostiju.

Od tog vremena do danas sačuvani su dio zida, kula i svodovi u prizemlju središnjeg objekta. U dvorcu se nalaze zavičajna zbirka, galerija umjetničkih slika Vilima Svečnjaka i interpretacijski centar „Putovima Frankopana“.