Mittelalter

Es wird vermutet, dass erste Teile der Burg schon um 1200 errichtet wurden. Der nachweisliche Altteil der Burg wurde 1249 als Besitz der Vögte von Straßberg und Eberhard de Voitesberk (auch Eberhardus de Voitesberg) urkundlich erwähnt. Neben dem Bergfried bestand dieser aus einem Palas (heute „Rittersaal“, der älteste Teil der Kernburg), einer umfassenden Wehrmauer und einem Graben zur Sicherung der Anlage. Als Baumaterial der Burg wurde der örtlich im Oelsnitzer Stadtteil Untermarxgrün abgebaute Knollenkalk verwendet.

Vogt Heinrich III. erweiterte nach 1300 die Burg mit zwei zusätzlichen Rundtürmen (Westturm, Südturm) und baute den Palas und Bergfried weiter aus. Die Georgskapelle wurde, zuerst als alleinstehendes Gebäude, 1327 errichtet und in die Wehrmauer eingebunden. Die hochgotische Bausubstanz der Kapelle ist in Form von Spitzbogenfenstern und Kreuzrippengewölbe weitgehend original erhalten. Als der Westturm hinzugefügt wurde, mussten die bis dahin bestehenden Abort-Nasen entfernt und auf einer anderen Stelle neu errichtet werden. Der Rest eines der ursprünglichen Abort-Nasen aus der Zeit vor 1300 ist rechts neben dem Westturm heute noch sichtbar. Ein weiteres Zeugnis der gotischen Bauweise des frühen 14. Jahrhunderts ist der Eingang zum "neuen" Abort sowie der Türrahmen des Einganges zum Sockel-Raum des Westturms (Spitzbogentür).

Die Herrschaft der Vögte Straßberg dauerte bis 1320 an. 1327 ging die Burg in den Besitz der Vögte von Plauen über. Im Vogtländischen Krieg 1356 fiel sie an den Markgrafen von Meißen aus dem Hause Wettin. 1357 wurden Adorf/Vogtl., Markneukirchen und das kleine Amt Wiedersberg südwestlich von Oelsnitz von den Plauener Vögten an den Meißner Markgrafen verkauft. Die beiden Orte kamen an das Amt Voigtsberg.

Um diese Zeit wurde der Burg der Ostflügel angebaut, wobei die Georgskapelle darin inkorporiert wurde. 1378 wurde die Burg zum Sitz eines kurfürstlichen Amtes. Bis zu dieser Zeit war der Palas freistehend, der Zugang ins Innere führte über eine Stiege bzw. Treppe über die Wehrmauer. Hans von Obernitz kaufte 1455 von Heinrich dem Jüngeren von Reuß zu Plauen die Burg Voigtsberg samt Amt und Vogtei Vogtsberg mit den Städten Oelsnitz, Adorf und Neukirchen. Später wurden die Ämter wieder kurfürstlich.

Renaissance und Barock

Im Verlauf der wettinischen Herrschaft wurde die Burg mit fünf Bastionen und einem Zwinger an der Angriffsseite ausgebaut, um den Fortschritten in der Waffentechnik (wie z. B. Kanonen) gerecht zu werden. 1505 wurde der Westflügel angebaut, der sich an die Nordseite des Palas und den Westturm anschloss. 1525 flüchteten viele Adlige der Umgebung aus Angst vor den Bauernunruhen im Vogtland auf die Burg. Im Kriegsjahr 1632 wurde sie von den kaiserlichen Truppen des Generals Heinrich von Holk völlig ausgeplündert und beim wiederholten Durchzug 1633 anschließend in Brand gesteckt.

Mit dem Umbau der mittelalterlichen Burganlage zum Schloss nach 1633 ging vieles an älterer Bausubstanz verloren; z. B. ist der Westflügel durch viele Reparaturen geprägt und enthält heute kaum Bausubstanz aus dem 16 Jh. Die freigelegten Deckenbalken in der Schösserstube von 1637 sind mit einer bis heute relativ vollständig erhaltenen Bemalung versehen. Ab 1647 befand sich der Bergamtssitz im Schloss. Der Fürstensaal des Obergeschosses (ab 1774) bestand ursprünglich aus zwei Räumen; der Hofstube im hinteren Drittel und dem „Großen Saal“ – durch die Zusammenlegung dieser beiden Räumlichkeiten entstand der eigentliche Fürstensaal.

Neuzeit

Das Amt Voigtsberg hatte bis 1855 seinen Sitz auf der Burg, danach ging die regionale Verwaltung in die Amtshauptmannschaft Oelsnitz/Vogtl. über. Der letzte Amtmann übergibt es der Strafanstalt Zwickau. Erst Arbeitshaus für Männer, wurde das Schloss im Jahre 1874 in eine „Gefängnisanstalt für Weiber“ umgebaut. Bauliche Veränderungen von 1898 bis 1900 veränderten das Schloss erheblich und beeinträchtigten den Gesamteindruck stark. Durch die Entfernung der Decke zwischen Erdgeschoss und Obergeschoss im Jahre 1898 – um eine Gefängniskirche einzurichten – war die St. Georgs-Kapelle nur noch über eine Galerie erreichbar.

Aus dieser Zeit stammt das Torhaus. 1924 wurde das Frauengefängnis aufgelöst, und der Freiwillige Arbeitsdienst, die Segelflieger und die Hitlerjugend zogen ein. Im Jahre 1937 richteten die Oelsnitzer Heimatfreunde und der Wanderverein in den sechs Räumen des ersten Stockwerkes der Kernburg ein Heimatmuseum ein, das aber 1945 geräumt werden musste, da das Schloss bis 1951 als Flüchtlings- und Durchgangslager diente. Danach wurde ein Jugendwerkhof Nutzer der Anlage, der die Gärtnerei neben dem Schloss anlegte. 1961 übernahm es die Nationale Volksarmee. 1967 kam die Anlage dann in den Besitz der Stadt Oelsnitz und beherbergte seither wieder das Teppichmuseum Oelsnitz. 1976 wurde das Schloss Heimat des Kreisarchivs.

Ab 2001 begann eine umfassende Sanierung und Restaurierung des Schlossensembles. Mehr als 10 Millionen Euro sind bereits in die Restaurierung geflossen, so dass es heute ein Schmuckstück der Stadt Oelsnitz ist, aber weithin nur wenig bekannt. 2010 konnte das Teppichmuseum wiedereröffnet werden. Seit 2011 beherbergt der Keller ein kleines Mineralienkabinett. Im Fürstensaal hängt ein mit Tizian signiertes Gemälde der Erzherzogin Katharina von Österreich.

Seit August 2013 ist das Schloss auch die Adresse einer Dauerausstellung zur Buchillustration. Unter dem Namen Illusorium gewährt es Einblicke in das umfangreiche Lebenswerk der sächsischen Graphikerin Regine Heinecke (1936–2019). An die 80 Bücher für Kinder und Erwachsene hat sie mit ihren skurril-humorvollen, poetisch-phantastischen Bildern geschmückt.