Das Grafenschloss Diez thront auf einem Porphürfelsen unmittelbar über der Altstadt. Der Bergfried und das Pallas wurden bereits im 11. Jahrhundert durch die Grafen von Diez erbaut.
Durch Heirat fiel der Besitz später an das Haus Nassau – Dillenburg und diente dann als Witvensitz der Linie Oranien Nassau. Sophie Hedwig von Braunschweig Lüneburg herrschte über die Grafschaft zur Zeit des dreißigjährigen Krieges. Wegen der unzureichenden Wohnsituation im Grafenschloss ließ Sie für Ihre Schwiegertochter, Fürstin Amalie von Anhalt – Dessau das Schloss Oranienstein erbauen.
Das Grafenschloss wurde dann als Gefängnis genutzt. Von den Gefangenen wurden mehrere Gewerbe ausgeübt, z.B. die Bearbeitung des Lahnmarmors zu Grab- und Gedenksteinen.
Im Jahre 1953 wurde im Grafenschloss eine Jugendherberge eingerichtet. Genießen Sie von der Höhenburg aus die schöne Aussicht auf Stadt und Umgebung und besuchen sie das Bistro in der Hofkapelle für einen Kaffee und einen Imbiss.