Die Schlossanlage besteht aus dem Alten Schloss, dem Neuen Schloss und der Schlosskapelle, die sich zwischen den beiden Gebäuden liegt und die beiden Schlossteile verbindet. Das Schloss in unmittelbarer Nähe des Starnberger Sees in Possenhofen gelang später durch Sisi zu großer Beliebtheit. Einst durften am Seeufer des Schlosses nur die herzogliche Familie baden. Seit 1865 ist eine zwei Hektar große Fläche vor der Schlossanlage für die Öffentlichkeit zugänglich. 

Das Schloss selbst befindet sich in Privatbesitz und kann von innen nicht besichtigt werden.

Im ehemaligen Schlosspark befindet sich heute ein großes Badegelände mit Liegewiesen, Kinderspielplatz und Grillmöglichkeit.