Nejvýraznější památkou města jsou zbytky hradu Perštejn. Stojí na na obtížně přístupném hřebenu kopce ve výšce 405 m. Na hrad se dostanete od východu z úzké cesty, která odbočuje ze silnice do Údolíčka. Po několika metrech se cesta změní na lesní pěšinu, po které dojdete až do míst, kde stávala jedna ze tří vstupních bran.
Vznikl někdy v polovině 13.století, prvním kastelánem a zakladatelem byl zřejmě Albrecht ze Žeberka. Prvním skutečně doloženým pánem na tomto hradě byl Bedřich ze Šumburka.
Rodový majetek se několikrát dělil a v r. 1508 byl Perštejn dokonce prodán Albrechtovi z Kolovrat. Nastával konec hradu, ten byl již r.1512 uváděn jako pustý. Po r.1830 se zde lámal kámen pro výstavbu vysoké pece, později bylo v areálu vybudováno přírodní divadlo, po r.1945 tady bylo nějaký čas skautské tábořiště. Hrad byl dobře chráněn ze tří stran strmými stráněmi, větší část obklopoval příkop, patrný dodnes na západní a jižní straně. na nejvyšším místě hřebene
vidíme torzo válcové věže a zbytky zdí dalších objektů.