Den ersten Beleg für einen Garten innerhalb der Burganlage liefert eine Zeichnung des Landgrafen Moritz von Hessen aus dem Jahr 1629. In dieser Skizze wird das Vorburgareal zwischen Pferdeschwemme und Halsgraben als „Lustgarten“ bezeichnet. Vermutlich ist der Lustgarten im Zusammenhang mit der Errichtung des Renaissancebaus am Neuen Schloss angelegt worden, da dessen dekorative Schmuckgiebel zum Gartenareal hin ausgerichtet sind. Der Lustgarten war zunächst mit einem einfachen Staketenzaum umgrenzt, der 1736 durch die noch heute bestehende massive Gartenmauer ersetzt wurde.

Gegenüber dem ummauerten Garten hatte man noch vor dem Dreißigjährigen Krieg eine große, leicht abgewinkelte Fachwerkscheune, den sogenannten „Getreidekasten“, erbaut. Das Erdgeschoss dieses Gebäudes diente als Viehstall, in den Obergeschossen wurde vorwiegend Getreide, aber auch Heu gelagert. Zu Beginn des 19. Jahrhunderts befand sich der Fachwerkbau in einem desolaten Zustand. Aufgrund der fortgeschrittenen Baufälligkeit wurde der große Mittelteil des Getreidekastens 1864 abgerissen, während die beiden Gebäudeenden, das heutige Pfarrhaus und das ehemalige Schulhaus, stehen blieben. Der ehemalige Getreidekasten und auch die sogenannte „Haferscheune“ zeigen, wie wichtig eine wehrhafte Burganlage für die sichere Aufbewahrung von Grundnahrungsmitteln war.

Aufgrund der ehemaligen Bedeutung der Burganlage für die Lebensmittelversorgung hat die Bayerische Schlösserverwaltung vor einigen Jahren im Burggarten eine Schaupflanzung eingerichtet, in der die wichtigsten historischen Getreidearten und -sorten sowie die drei bekanntesten Pseudogetreide Amarant, Quinoa und Buchweizen gezeigt werden. Für die einzelnen Getreidearten und die ebenfalls gezeigten Brotgewürzpflanzen stehen den Besuchern Rezeptblätter zum Mitnehmen zur Verfügung. Sie sollen dazu anregen, die alten Getreidearten auch einmal in der eigenen Küche auszuprobieren.