Les ruines de l’ancienne forteresse dominent la vallée, sur une colline entre Munster et Griesbach-au-Val.
La première mention du château date de 1261. À cette époque, l’évêque de Strasbourg, Walter (ou Gauthier) de Geroldseck, cherche à imposer sa domination sur la moyenne Alsace, alors rattachée à l’évêché de Bâle.
La construction de Schwartzenbourg est lancée par un parent de l’évêque. L’abbé de Munster, propriétaire du terrain, proteste, mais sans succès.
En juillet 1262, après la défaite de l’évêque contre les Strasbourgeois à la bataille de Hausbergen, le château est intégré aux négociations de paix. En novembre, le roi Richard confirme les droits de l’évêché de Bâle sur la vallée de Munster et sur Schwartzenbourg.
Après 1273, le roi Rodolphe de Habsbourg impose les droits de l’Empire. Bâle doit céder la ville de Munster, mais conserve le château.
En 1293, Schwartzenbourg devient prison pour Walter Roesselmann, prévôt déchu de Colmar.
En 1301, l’évêque de Bâle y nomme un châtelain, Jean de Wartenfels.
Entre 1309 et 1311, le château est donné en gage pour une dette.
En 1341, sa garde est confiée à la famille Munch de Landskron.
En 1396, Schwartzenbourg figure dans une charte royale : le roi tente, sans succès, de reprendre la forteresse.
En 1402, Jean Beger de Geispolsheim reçoit le château en fief. Il obtient 600 florins pour le restaurer et doit entretenir une garnison.
En 1411, il place la forteresse sous la protection du comte palatin.
Entre 1496 et 1522, Jacob Beger entreprend une grande restauration. C’est de cette époque que date la chapelle castrale dédiée à sainte Anne. Les travaux coûtent plus de 10 000 florins.
En 1435 puis en 1522, des conflits éclatent avec l’abbaye de Munster à propos de la forêt et des droits de chasse. Des bornes sont posées pour fixer les limites. Certaines sont encore visibles aujourd’hui.
En 1532, à l’extinction des Beger, le fief passe à Pierre Scher, conseiller impérial.
Au XVIIe siècle, la forteresse connaît de nouvelles occupations. En 1633 et 1636 par les Français, puis en 1651 par les troupes wurtembergeoises. Dès cette époque, elle tombe en ruine.
En 1673, une tour est détruite à l’explosif par les troupes royales françaises. Ses débris sont toujours visibles.
Au début du XIXe siècle, la famille Hartmann intègre les ruines à leur jardin paysager, le Schlosswald.
Pendant la Première Guerre mondiale, l’armée allemande y installe un observatoire d’artillerie et un abri en béton.