Le Kunstverein, l'association artistique de Brême, est l'un des plus anciens d'Allemagne. Fondé en 1823, il compte entre-temps plus de 6000 membres et est aujourd'hui encore l'organe gestionnaire de la Kunsthalle. Bien que ses membres se réunissaient jadis dans un cercle privé pour contempler des feuilles graphiques, une intense activité d'exposition et de collection se développa, si bien que l'association décida de fonder son propre musée.

La ville mit le terrain des Wallanlagen à disposition et l'association supporta les frais de construction. C'est ainsi que fut construit en 1849 le premier bâtiment de la Kunsthalle d'après les plans de l'architecte Lüder Rutenberg.
La collection s'enrichit rapidement grâce aux legs de mécènes tels que le sénateur Hieronymus Klugkist, le commerçant Johann Heinrich Albers ou le consul général Eugen Kulenkamp et le bâtiment fut totalement transformé et agrandi de 1899 à 1906 sous la direction d'Eduard Gildemeister. L'intense activité d'exposition exigea finalement la construction d'un bâtiment annexe qui fut réalisée par l'architecte Werner Düttmann. Ce bâtiment, qui fut inauguré en 1982, abrite des salles d'expositions temporaires, un café et une salle de conférence.
De 1996 à 1998, la Kunsthalle a été entièrement rénovée et agrandie sous la direction du bureau d'architectes Dahms & Sieber. Au deuxième étage, de nouvelles salles ont été aménagées pour l'art contemporain. Ces mesures n'ont pu être réalisées que grâce aux nombreux dons faits par les Brêmois. Depuis sa réouverture au mois de mars 1998, la Kunsthalle brille d'une nouvelle splendeur.