Die erste urkundliche Erwähnung erfolgte im Jahre 860. Die Spanheimer verliehen den Osterwitzern
1209 das Erbamt der Mundschenken.
Der letzte Schenk von Osterwitz wird 1475 bei einem türkeneinfall gefangen und stirbt in der Gefangenschaft ohne
Erben.
Hochosterwitz fällt an Kaiser Friedrich III zurück.
1541 verpfändet König Ferdinand I. Osterwitz an den damaligen Landeshauptmann Christoph Khevenhüller. Nach dessen Tod erbt sein ältester Sohn Hans V Khevenhüller dieses Pfandrecht, welches er durch seine Diplomatentätigkeit nicht ausüben kann und somit 1571 seinem Vetter Georg Freiherr von Khevenhüller, ebenfalls Landeshauptmann von Kärnten verkauft. Unter seiner Führung wird die Burg wegen der drohenden Türkeneinfälle ausgebaut, mit einer Wa enkammer ausgerüstet und in den Jahren 1570 -1586, mit der bis heute bestehenden Wehranlage
mit 14 Tore versehen.
Ein derartig vielseitig gesicherter Burgweg zählt nicht nur zu den größten Seltenheiten, sondern stellt ein Unikum im Burgenbau dar. Eine alte Urkunde verzeichnet die
Namen der einzelnen Tore. Seit dieser Zeit fanden keine wesentlichen baulichen Veränderungen statt. Die Burg ist bis zum heutigen Tag ununterbrochen im Besitz der Familie Khevenhüller. In einer Verfügung des Bauherrn, Georg Khevenhüller, aus dem Jahre 1576, welche auf einer Marmortafel im Burghof zu lesen ist, wird das Vermächtnis erlassen, es möge die Burg im Besitz der Nachkommen bleiben und diese für deren Erhaltung Sorge tragen. Diesem Vermächtnis hat sich die Familie Khevenhüller stets verp ichtet gefühlt.