Im August 1858 plante Kaiser Franz Joseph I. anlässlich der Geburt des Kronprinzen Rudolf den Bau des Rudolf-Spitals im ehemaligen Harrach’schen Garten am Rennweg. Die k. k. Gartenbau-Gesellschaft musste ihr Vereinslokal räumen und fand übergangsweise eine neue Heimat im Fischer von Erlach’schen Belevedere im Liechtenstein’schen Garten in der Rossau. Die Glashäuser konnte die Gesellschaft zum Teil für ihre eigene Pflanzensammlung und die Ausstellungen nutzen.