Das Renaissanceschloss wurde 1571 von Hans Ulrich von Ludmanstorf errichtet, welcher aber schon 1572 starb. 1576 kaufte Helmhard VIII Freiherr von Jörger das Anwesen und ließ es erweitern, sein Sohn Helmhard der Jüngere vollendete das Schloss im Jahr 1619. Im Dreißigjährigen Krieg ging das Schloss an Kaiserin Eleonora Gonzaga, welche die Herrschaft Walpersdorf als Liegenschaft zur Versorgung der von ihr gestifteten Loretokapelle in Wien mit jährlich 400 fl. bestimmte. Nach dem Tod der Kaiserin kaufte das Schloss Georg Ludwig von Sinzendorf, der dort das erste planmäßige Fabriksgebäude Österreichs – eine Seidenspinnerei – errichtete. Nach seinem Tod musste seine verwitwete Ehefrau die Anlage an Ludwig Graf Colloredo-Wallsee verkaufen, welcher sie an seine Tochter Maria Antonia Josefa Montecuccoli vererbte. Nach ihrem Tod gelangte das Erbe 1738 an Camillo Graf Colloredo-Wallsee. Von 1859 bis 1956 gehörte das Schloss der Familie Falkenhayn. Marie Gräfin Falkenhayn vermachte schließlich Walpersdorf zusammen mit anderen Gütern dem Orden der Missionsschwestern vom hl. Petrus Claver. Im Zweiten Weltkrieg wurde das Schloss schwer beschädigt, jedoch wieder instand gesetzt.

Besitzer war bis 2014 der Missionsorden. Da nur mehr ganz wenige Schwestern in Walpersdorf lebten, wurde das Schloss verkauft. Seither beherbergt das Schloss den Interieur Store der Firma Lederleitner, ab März 2019 das Schloss-Restaurant Schlossküche Walpersdorf Blauenstein und seit 2017 mit der Hopfenspinnerei eine Craft-Beer-Brauerei.