Dank großzügiger Darlehen einiger wohlhabender Mitglieder war die Finanzierung des Neubaus eines Gesellschaftsgebäudes schnell gesichert, so dass am 14. Dezember 1864 unter Beisein Kaiser Franz Joseph I. die Schlusssteinlegung erfolgte. Der Gesellschaftsgarten wurde von Lothar Abel angelegt und im Frühjahr 1865 eröffnet. Entlang der Gartengrenze zur Coburgbastei befanden sich Gewächshäuser. Im großen zentralen Saal, den so genannten Blumensälen, fanden neben Pflanzenausstellungen auch zahlreiche andere Veranstaltungen statt. Die Blumensäle wurden zu wichtigen Veranstaltungsräumen in der Stadt für Bälle und Konzerte, Ausstellungen, Kongresse, Wohltätigkeitsbazare und vieles mehr. So fand z. B. die erste Kunstausstellung der Vereinigung bildender Künstler Österreichs Sezession von Ende März bis Mitte Juni 1898 in den Blumensälen statt. Während der Kriege von 1866 und 1914-1918 dienten die Blumensäle als Lazarett.