De oliemolen werd in 1647 gebouwd door G. de Wijse.
Na wijziging van de vestingwerken in 1683 herbouwd, mogelijk in steen, door J. de Wijse.
Rond 1687-1690 moest de molen worden verhoogd.

De weduwe van Pieter Schouten van den Berg, Geertuijd Houthoff, breidde de familiezaak uit met als derde oliemolen De Rhee. In 1798 trad ze terug uit de zaken en gaf zoon Dirk opdracht de molens te verkopen.

Op 6 juni 1810 kocht Cornelis François Stoop te Dordrecht van de weduwe Pesser de dubbele windoliemolen enz. gelegen op het Hollants Bolwerk, genaamd De Rhee, voor ƒ 4600. Zijn erven adverteerden nog voor de oliehandel in 1845, in 1846 maakten ze bekend dat de molen voortaan ook rijst en gerst kon pellen.

24-07-1819: Bredachte courant

Uit de hand te huur tegen primo mei 1820 de Steene Graan-Mout- en Garst-Pel-Molen genaamd de Oranje Boom staande binnen de stad Breda, op de Walle bij deGasthuis-Velden'met en benevens de Paarden- of Rosmolen daar bij of omtrent staande. Te bevragen ten Kantore van den Notaris J. van Naerssen te Breda voornoemd.

17-01-1824: Bredasche courant

Te huur tegen den 1 Julij 1824, de STEENEN WIND- KOREN- en PELMOLEN, alsmede een PAARDEN-ROSMOLEN, staande op de vesting bij de Gasthuisvelden te Breda- Nadere onderrichting te bekomen ten Kantore van den Notaiis VAN NAERSSEN te Breda

24-03-1830: Bredasche courant

AANBESTEDING. BURGEMEESTER en WETHOUDERS der STAD BREDA zullen op Maandag den 29sten Maart 1850, des middags ten twaalf ure, ten Stadhuize aldaar, aan den minstdoende, in het openbaar aanbesteden :  Het doen van REPARATIEN en VERNIEUWINGEN aan het gebouw genaamd den Pelmolen, staande aan de straat, genaamd: naar de Gasthuisvelden, binnen deze Stad, gekwoteerd Lett. B, No. 515. ten einde hetzelve in te rigten tot kazernering van troepen.

De Konditien van Aanbesteding liggen dagelijks, uitgenomen op Zon- en Feestdagen , op de gewoone uren , ter lezing op Stads Secretarie, en nader onderrigt is te bekomen bij den Stads Architect J. J. GROOTENS. BREDA. den 22 Maart 1830. 

23-11-1838: Bredasche courant

Te HUUR, om terstond te aanvaarden.

Het gebouw de PELMOLEN, staande aan de Straat naar de Gasthuisvelden, bij de Rivier de Mark, zeer geschikt tot Magazijn; te bevragen bij den Stads-Architect A.J.F. Cuypers.

Op een litho van A.J. Bogaert van ca. 1875 staat de molen nog als oliemolen aangegeven.

Bron: Water- en windoliemolens in West-Brabant, Ton Meesters 2014, Vereniging "De Westbrabantse Molens".