Die Herrschaft Klingenfels war eine von den Besitzungen, die der Bischof von Freising in Krain im heutigen Slowenien erworben hatte. Neben dem größten Besitz Bischoflack (seit 973) in der Oberkrain kamen im 11. und 12. Jahrhundert weitere Gebiete hinzu. Im Jahre 1265 wurde das Schloss Klingenfels (Klevevž) erbaut, das dem Freisinger Besitz in der Unterkrain seinen Namen gab. Nach etlichen Streitigkeiten und Schwierigkeiten mit seinen Pflegern im 16. Jahrhundert wurde schließlich „der freisingische Besitz in der Windischen Mark“ (Unterkrain) vom Freisinger Bischof 1622 verkauft.
Schloss Klingenfels wird am 20. September 1267 erstmals urkundlich erwähnt. Bis 1622 war es Eigentum der Bischöfe von Freising. In diesem Jahre kam es durch Kauf an Georg Freiherrn von Moscon. Durch Erbschaft bekam es nach etlichen Jahren an Georg von Palmburg. Nach dessen Tod erbte einen Teil Bernhard von Palmburg, Besitzer des nahegelegenen Schlosses Sbure (1668). Das Schloss Klingenfels selbst kaufte Matthias Graf Strassoldo. Nachdem dieser 1686 als Hauptmann in Karlstadt in Kroatien gestorben war, verkaufte seine Witwe Maria Kunigunde, geborene Gräfin Paradeiser, Klingenfels am 17. Jänner 1693 für 53.000 Gulden dem Sitticher Abt Anton von Gallenfels. Kaiser Leopold I. bestätigte den Verkauf am 21. Jänner 1696. Da Sittich durch den Ankauf von Klingenfels und Reutenberg in große Sohulden geraten war, verkaufte Gallenfels’ Nachfolger Alexander von Engelshaus Klingenfels 1719 für 43.000 Gulden an das Kloster Landstrass, dessen Abt Anton sein Bruder war. Nach der Aufhebung der Klöster übernahm am 16. Februar 1786 die k.k. Regierung die Herrschaft.