Markgraf Georg Wilhelm gründete die Eremitage auf dem Gelände eines Tiergartens seines Vaters Christian Ernst. 1715 wurde mit dem Bau des Alten Schlosses als Mittelpunkt der Einsiedelei begonnen. Im Schloss und in den im Wald verstreut liegenden Eremitenhäuschen spielte die Hofgesellschaft das Leben eines Eremitenordens nach.

Markgräfin Wilhelmine ließ ab 1735 den bestehenden Gartenanlagen aus der Zeit des Markgrafen Georg Wilhelm weitere geometrische Gartenbezirke mit Bosketten, Alleen und Wasseranlagen hinzufügen. Trotz der Verwendung von traditionellen barocken Gartenelementen entstand kein typischer Barockgarten: Eine die ganze Anlage dominierende Achse fehlt, und die einzelnen Gartenteile sind selbstständiger als dies bei Anlagen des Hochbarock der Fall wäre.

Das Neue Schloss mit der oberen Grotte, die untere Grotte, die Eremitage des Markgrafen, das Ruinentheater und weitere Kleinarchitekturen aus der Zeit Wilhelmines prägen bis heute das Bild der Eremitage. Ende des 18. Jahrhunderts wurde der Hofgarten Eremitage "verlandschaftlicht": Unter anderem wurden die Boskette abgeräumt und durch freie Gehölzpflanzungen und Wiesen ersetzt. In den letzten 30 Jahren wurden einzelne im 19. Jahrhundert verloren gegangene Parkteile wiederhergestellt.