Hrad ve Starém Rybníku byl vybudován Raby asi kolem poloviny 14. století. Jako panské sídlo fungoval zřejmě až do samého závěru 18.století. Po ničivém požáru roku 1792, který byl způsoben bleskem, se zčásti změnil ve zříceninu , ale jeho vstupní budova byla využívána až do 20.století, kdy byla opuštěna a rozpadla se.
Pro hrad bylo vybráno místo jižně od vsi. Stavitel jej založil na skalnatém hřebenu, jen nepatrně se zvedajícím nad své okolí. Pro jeho ochranu byly východně i západně od hřebene založeny dva velké rybníky o nestejné úrovni hladiny, neboť spodní z nich, východní, ji má o 4 metry níže.
Voda mezi nimi protékala příkopem, kterým byl hřeben v severní části překopán. Předhradí se rozkládalo severně od hřebene za příkopem. O jeho podobě mnoho nevíme, neboť z původní zástavby se tu zachovala jen jedna budova, obsahující dnes již dávno nepoužívanou starou bránu, přivádějící cestu z něho ke hradu. Od ní vedla cesta přes vodní příkop po mostě do hradu.
Most byl původně v jižní části před hradní bránou padací. V bráně se pro něj dosud zachovala vpadlina a při zemi dva opracované kameny s vybráním pro uložení čepů mostnice, která se v nich otáčela. Vlastní hrad má půdorys téměř pravidelného, k jihu se jen mírně zužujícího obdélníku o rozměrech asi 30×15 metrů. Kolik bylo nad přízemím pater není známo. Na konci hradu, v jeho jižní části, stávala hlavní obytná budova, dvojtraktový palác původně o třech patrech. Palác byl podsklepen prostorami zaklenutými valenými klenbami. Z paláce do dnešních dnů nezůstalo téměř nic.