Der etwa zwei Hektar große Dichtergarten (ehemals "Finanzgarten") liegt auf dem Gelände einer geschleiften Bastion aus dem Dreißigjährigen Krieg. Das Areal wurde bei der Gründung des Theatinerklosters um 1644 den Mönchen als Nutzgarten überlassen.

Ende des 18. Jahrhunderts kaufte Abbé Pierre de Salabert, ehemals Staatsminister und Erzieher des Kurfürsten Maximilian IV. Joseph, den Theatinergarten und weitere benachbarte Grundstücke im Bereich der ehemaligen Stadtbefestigung. Er ließ einen landschaftlichen Garten anlegen und ein Palais erbauen, das heutige Prinz-Carl-Palais. Aus dieser Zeit stammt das noch erhaltene Untergeschoss eines Gartenpavillons, in dem sich heute der Heinrich-Heine-Brunnen befindet.

Nach dem Tode Salaberts erwarb König Maximilian I. Joseph das Gelände. Der Garten wurde nun von der Hofgarten-Intendanz unter Friedrich Ludwig von Sckell unterhalten und erweitert. Für den königlichen Hof zog man auch Obst und Blumen heran.

Von 1825 bis 1875 nutzte Prinz Carl, ein Sohn König Max I. Josephs, Palais und Garten. Ab 1876 war die Anlage Sitz der Österreichisch-Ungarischen Gesandtschaft und des Obersten Rechnungshofes, später Wohnsitz der bayerischen Finanzminister, denen auch das Recht der Gartenbenutzung zustand. Daraus entwickelte sich die Bezeichnung "Finanzgarten".

Durch den Bau von Straßen wurde der Garten in den Randbereichen mehrfach beschnitten. Bombentreffer des Zweiten Weltkriegs verursachten massive Zerstörungen; in den 1950er Jahren befanden sich im westlichen Parkbereich Garagen und eine Tankstelle.

Seit 1954/55 wird der Garten von der Bayerischen Schlösserverwaltung betreut, die ihn für die Öffentlichkeit zugänglich machte und Anfang der 1980er Jahre den Westteil der Anlage wieder bepflanzte. Außer dem Heinrich-Heine-Denkmal und einer Bronzeplastik des russischen Dichters und Diplomaten Fjodor Tjuttschew wurde im Jahr 2007 auch eine Konfuzius-Statue aufgestellt. Weitere Gedenkstätten für Dichter, deren Leben und Werk mit der Geschichte Münchens verknüpft sind, sollen hier ihren Platz finden.