À l’origine, ce bâtiment était un couvent des frères franciscains. En 1543, suite à une épidémie de peste, les frères le vendent aux autorités municipales qui la transforment en hôpital. Suite aux importants dommages causés par un incendie survenu en 1735, un nouvel hôpital est alors bâti sur l’ancien site. Placé sous la tutelle d’un économe, celui-ci veille sur les occupants et administre les biens de l’établissement qui dispose de terres et de bétail destinés à la nourriture des pauvres et des pensionnaires. Jusqu’à la Révolution française, l’hôpital est également tenu de mettre des animaux reproducteurs à la disposition des bourgeois de la ville. Le bâtiment conserve sa fonction hospitalière jusqu’en 1937. Puis, fut occupé par l’Université de Haute-Alsace, avant d’être restauré et réaménagé pour accueillir, en 2012, la médiathèque de Colmar.