De molen werd in 1866 gebouwd in opdracht van A. Pals. Bij de bouw werd gebruik gemaakt van onderdelen van een poldermolen uit het land van Voorne-Putten.

Pals was tot 1890 eigenaar/mulder van deze molen; toen emigreerde hij naar de Verenigde Staten. Later ging de molen over naar Jan Rombouts, een telg uit een bekende molenaarsfamilie, afkomstig uit Elshout (onder Drunen).
Harry Rombouts nam in 1937 zijn vaders bedrijf over en dreef de molen tot zijn (te vroege) overlijden in 1944. Toen nam diens neef A.A. (Antoon) Rombouts, wederom uit Elshout, de molen over. In 1946 hertrouwde Harry's weduwe met Antoon.
In latere jaren was ook Dim Rombouts, zoon van Harry, veel bij molen en bedrijf betrokken. Dim Rombouts overleed begin 2022.

Eigenaren sinds de bouw:
Antonie Pals (1866-1871)
Dingena Pals cs (1871-1893)
Johannes Adrianus Rombouts (1893-1937)
Harry Rombouts (1937-1944)
Lies Rombouts-van der Made (1944-1990)
Erven mevrouw Rombouts (1990-1990)
Stichting Molen Zeldenrust (1990-heden).

Bij een grote restauratie (1994/97) werden alle vloeren vervangen; van de drie koppel maalstenen keerde er vervolgens maar één terug. In 1995 was de molen draaivaardig en op Nationale Molendag 1997 volgde de feestelijke (maalvaardige) officiële ingebruikname.

In 2017 stopte men met malen omdat het koppel stenen toen onvoldoende maalvaardig was. In januari 2024 startte de grondige revisie van dit koppel en op 9 februari kon voor het eerst in ruim 7 jaar weer worden gemalen.

De bovenas is een bijzondere: geleverd in 1842 voor de Zegen- en Molenpolder te Rhoon. Na de sloop van deze molen (1879) moet deze in Hoge Zwaluwe terechtgekomen zijn. Deze in aanleg korte as is hier met houten vulstukken verlengd en voorzien van een losse metalen pen.