Der unter verschiedenen Besitzern entstandene Park rund um Schloss Fantaisie vereint Gestaltungselemente aus den Stilphasen Rokoko, Empfindsamkeit und Historismus.

Drei Jahre nach dem Tod seiner Gemahlin Wilhelmine begann Markgraf Friedrich mit den Bauarbeiten für ein neues Schloss, erlebte jedoch die Fertigstellung nicht mehr. Seine Tochter Elisabeth Friederike Sophie erhielt 1763 den Besitz und ließ dort bis 1780 einen spätbarocken Garten anlegen. Der wohl von Carl Philipp von Gontard entworfene Pavillon, der Neptunbrunnen mit einer Figurengruppe der Gebrüder Räntz, Stützmauern, Treppenanlagen und zwei originelle Sandsteinbänke aus dieser Zeit blieben bis heute erhalten.

Die nicht mehr erhaltenen Heckenräume des 18. Jahrhunderts östlich vom Schloss sowie der ehemalige Nutzgarten mit seinen Obstquartieren wurden 1993 bis 1996 rekonstruiert. Die nur noch fragmentarisch vorhandene Kaskade wurde 2003 bis 2005 als eindrucksvolles Wasserspiel komplett wiederhergestellt.

1793 erwarb Herzogin Friederike Dorothee Sophie von Württemberg das Schloss. Die Herzogin bezog die umliegende Landschaft in die Anlage ein, indem sie, ausgehend von den vorgefundenen Sandsteinfelsen, eine Fülle reizvoller Staffagebauten und Gartenszenerien schuf: eine Katakombe, die Säule der Eintracht und verschiedene Ruhesitze. Ihr Sohn Alexander Friedrich konnte sich als Offizier nur wenig um sein Erbe kümmern. Auf ihn gehen lediglich der Borodino-Stein und die Alexander-Kapelle zurück.

Erst sein Sohn Herzog Alexander von Württemberg führte Fantaisie zu einem neuen Höhepunkt. Er nutzte das Schloss als Sommerresidenz und ließ es 1850/1852 zu seiner noch heute bestehenden Form umbauen. Den nördlichen Gartenbereich vor dem Schloss schmückte er mit Teppichbeeten, Treillagen und Skulpturen. Südlich des Schlosses ließ er einen sogenannten Pleasureground mit Rasenflächen und Blumenbeeten anlegen und den Schlosshang davor zum Anbau von Wein terrassieren. Der wichtigste Eingriff war die Erweiterung des älteren Gartens durch landschaftlich gestaltetet Parkräume mit einer Vielzahl fremdländischer Gehölze.