Vor 1500 entstand das Schloss als Edelhof. Ab 1555 war es Sitz der Herrschaft Scharfeneck. 1563 erfolgte die Erweiterung zu einem Landschlösschen.
Von 1719 bis 1754 war Maria Karoline Fuchs Besitzerin des Schlosses. Sie war die Erzieherin und Freundin von Kaiserin Maria Theresia. Die Herrscherin besuchte Mannersdorf mehrmals zu Kurzwecken.
Das Schloss wurde in den Jahren 1719–1730 und 1754/55 umgebaut. Während des zweiten Umbaus entstand der prächtige Theresiensaal mit seinen Deckengemälden, dessen Decke 1968 restauriert wurde. Sehenswert sind außerdem der Stiegenaufgang mit Stufen und Deckengeländer aus Eichenholz, das Schmiedeeisengitter beim Haupteingang sowie der Arkadenhof.
Von 1754 bis 1918 war das Schloss im Besitz des Hauses Habsburg-Lothringen. Seit 1940 befindet es sich im Gemeindebesitz. Seit Herbst 2006 befindet sich im zweiten Stock die neu geschaffene Edmund-Adler-Galerie.
