Eingebettet in die schöne Weserrenaissance-Altstadt beherbergt es das bereits 1898 gegründete städtische Museum, die Stadtbibliothek sowie das Stadtarchiv.

Seine Ursprünge gehen auf das Mittelalter zurück und seitdem hat es eine wechselvolle Geschichte aufzuweisen:
Nach einem verheerenden Feuer 1561 wurde es im Weserrenaissance-Stil wieder aufgebaut und bis 1584 als Fürstensitz des welfischen Herzogtums Calenberg-Göttingen genutzt.

Im 30-jährigen Krieg war es das Interieur, das Zerstörungen zum Opfer fiel, so dass das Schloss erst ab 1776 wieder genutzt wurde - als Kornspeicher. Danach beherbergte es zeitweilig das Amtsgericht und später die Forstakademie.