Le musée est installé dans l’ancien couvent de sœurs dominicaines fondé au 13ème siècle, au lieu dit Unterlinden, «Sous les tilleuls».
À la Révolution française, après le départ des moniales, les bâtiments sont confisqués, puis peu à peu laissés à l’abandon. Ils servent de caserne militaire jusqu’au milieu du 19ème siècle.
Deux événements et un homme vont contribuer à la naissance du musée : Louis Hugo, bibliothécaire et archiviste de la ville, fonde en 1847 la société Schongauer qui gère encore aujourd’hui le musée. Il obtient également de la municipalité que la mosaïque Gallo-Romaine découverte à Bergheim soit déposée dans l’église d’Unterlinden.
Peu à peu, de nouvelles oeuvres s’ajoutent, issues notamment des séquestres révolutionnaires. Le célèbre retable d’Issenheim est quant à lui transféré dans l’église de l’ancien couvent avant l’ouverture du musée le 3 avril 1853.
C’était après 1902, à Colmar.