Das Chemnitzer Museum für Stadtgeschichte ist in einer der schönsten und besterhaltenen Klosteranlagen Sachsens untergebracht.
Um 1135 ließ Kaiser Lothar auf einem Höhenzug über dem Chemnitz-Fluss ein Benediktinerkloster errichten, das bis in die Jahre der Reformation bestand. Seine erhalten gebliebene Gebäudesubstanz entstammt verschiedenen Bauphasen: Die romanische Südapsis gehört noch zum Gründungsbau (um 1150), der frühgotische Ostflügel zum wohl ältesten steinernen Klostergebäude (1275), der Südflügel und die Kirche zur spätgotischen Bauphase unter den beiden letzten Äbten Heinrich von Schleinitz und Hilarius von Rehburg (1483 bis 1539).
Kurfürst Moritz von Sachsen ließ die repräsentative Klosteranlage in den Jahren 1548/49 zu einer Sommerresidenz in den Formen der Renaissance umbauen. Die beiden Säle im Obergeschoss legen davon noch heute eindrucksvoll Zeugnis ab. Spätere Kurfürsten nutzten das Schloss vorrangig als Sitz der Gebietsverwaltung und als Quartier für ihre sommerlichen Jagden.
Nach der Verwüstung der Gebäude im Dreißigjährigen Krieg und den Umnutzungen und Abbrüchen im 19. und 20. Jahrhundert blieben nur die Kirche und zwei Flügel der ehemaligen Klausur erhalten.
In den Jahren 1929-31 richtete die Stadt Chemnitz in den alten Räumen von Kloster und Schloss das Stadtgeschichtliche Museum ein, für das sich im Laufe der folgenden Jahrzehnte der Name „Schlossbergmuseum“ einbürgerte.
1979 mussten alle Museumsobjekte wegen Baufälligkeit des Gebäudes ausgelagert werden. Die beiden alten Klausurflügel wurden grundlegend saniert, die beiden abgerissenen in modernen Formen wieder aufgebaut.