Die im 16. Jahrhundert geschaffene hohe Ummauerung mit mehreren Ziertürmen des Gartens deutet auf einen in der Renaissancezeit angelegten Schlossgarten hin. Der heute noch vorhandene alte Wasserturm an der südlichen Mauer versorgte das Schloss und die Wasserspiele im Garten mit Wasser. Dazu wurde das Wasser aus dem Bereich der "Sieben Quellen" hierher gepumpt. Garten und Schloss trennt ein wesentlich älterer Graben, der wohl schon zu der Zeit entstanden ist, als das Schloss noch eine Burg war. Die heutige Verbindung zwischen Garten und Schloss, ein Viadukt mit drei Backsteinbögen, stammt aus dem 18. Jahrhundert. 1980 pachtete die Stadt Starnberg den Schlossgarten vom Finanzministerium, legte den Garten neu an und machten ihn der Öffentlichkeit zu gänglich.

Das ehemaligen Schloss befindet sich heute das Finanzamt und ist somit von innen nicht zu besichtigen.