Möglicherweise lässt der legendenumwobene Ritter Wiprecht von Groitzsch (1050 - 1125) den Grundstein für den ersten Rittersitz in Prossen legen. Das Elbtal zwischen den Tafelbergen Königstein und Lilienstein ist bis dahin noch kaum besiedelt.
In einer Urkunde des Meißner Bischofs Rudolph von 1412 wird "Prossentin" zum ersten Mal schriftlich erwähnt. Die Urkunde weist den Ordensritter Heinrich von Grislow, dessen Gut damals zu Böhmen gehörte, als ersten uns bekannten Pross'ner Gutsherrn aus.
Das Gut ist mehr als 170 Jahre lang im Besitz der Familie Partzefal, die es als Lehngut 1443 vom sächischen Kurfürsten erhalten hat. Die Herren hatten damals auch die Obergerichtbarkeit über die umliegenden Orte inne. Ende des 16. Jh. taucht der Begriff "Rittergut" erstmals auf. Er zeigt an, dass vom Grundbesitzer im Kriegsfall Reiter zum Kriegsdienst gestellt werden müssen.
Die Familie von Bünau, aus Naumburger Uradel stammend, muss 1629 im Zuge der gewaltsamen Rekatholisierung aus Böhmen fliehen und kauft das Rittergut Prossen für 18.000 Gulden. Die Familie ist nun im Besitz des Guts Prossen und der Burgen Weesenstein, Lauenstein und Kuckuckstein.
Johanna Eleonore von Lüttichau kauft das Rittergut 1690 im Alter von 24 Jahren. Als erste Frau unter den Besitzern baut sie das vermutlich stark verfallende oder gar abgebrannte Herrenhaus auf den Grundmauern des alten Gebäudes neu auf. Ihre Initialen im Balkongitter über dem Hauptportal künden davon. Barocke Stuckdecken und Wandmalereien, die heute wieder im historischen Glanz erstrahlen, stammen aus dieser Zeit.
Friedrich Brockhaus, ältester Sohn des Leipziger Verlagsgründers, kommt 1850 nach Prossen und bewohnt mit seiner Frau Luise, der Schwester Richard Wagners, das Rittergut. Der Saal der heutigen Gartensuite dient dem Ehepaar als Speisesaal. 1859 kehrt Brockhaus - halb erblindet - nach Dresden zurück, wo er bis zu seinem frühen Tod in der Nähe seiner Töchter wohnt.
1866 wird an die bestehende Brennerei auch eine Brauerei angebaut, die allerdings nur drei Jahre später einem Brand zum Opfer fällt. Aber die Besitzer geben nicht auf. Sie verpachten die wiedererrichtete Brauerei an den Braumeister Reinhold Heinrich. Der braut hier bis 1885 das Rittergutsbier, das damals im hauseigenen Gasthof ausgeschenkt wird.
Der jüdische Dresdner Kaufmann Fritz Heller kauft im Jahr 1900 das Rittergut. Er muss seinen Besitz 1939 für einen Spottpreis an die Sächische Bauernsiedlung GmbH verkaufen. Das Anwesen steht zunächst leer und erlebt in den Kriegsjahren verschiedene Nutzungen: technisches Büro, Wohnung, Lager. Sogar der Zirkus Sarrasani bringt zeitweise seine Tiere in den Stallungen unter.
1945 wird das Rittergut im Zuge der Bodenreform aufgeteilt, das Herrenhaus gelangt in den Besitz der Gemeinde. 1950 brennt es erneut, zum Glück bleiben Haupthaus und ein Teil der Nebengebäude verschont. In das Herrenhaus zieht für einige Jahre die Pross'ner Schule ein, 1984 dann der Kindergarten. Zudem werden Wohnungen für insgesamt 7 Familien eingerichtet.
Die Rechtsnachfolger des 1950 verstorbenen Fritz Heller erhalten 2006 die ehemaligen Besitzungen zurück. Inzwischen sind nur noch wenige Wohnungen im Haus bewohnt. Die Erben Hellers entscheiden sich schließlich zum Verkauf des Anwesens. Zunächst findet sich jedoch kein Käufer, sodass das Gebäude immer mehr verfällt, der Garten immer weiter verwildert.
Das Haus wird 2014 von der Dresdner Familie Wiesner gekauft. Nach herausfordernder Planung beginnt 2017 die aufwändige Restaurierung. Der Umbau zur Ferienresidenz wird vom Dresdner Büro schoper.schoper Architekten realisiert. Im August 2019 ziehen die ersten Feriengäste in die Ferienapartments im Schloss ein.