Op 7 april 1847 raakte de voorganger van deze molen ’s nachts om 2.00 uur bij mooi weer in brand en werd hij geheel in de as gelegd. De oorzaak van de brand werd niet achterhaald, maar geruchten van nalatigheid en brandstichting doen vermoeden dat er iets niet pluis was. De molen was op dat moment het bezit van Willem Avis. 
Er volgde herbouw met een achtkante bovenkruier grondzeiler, die groter was en meer capaciteit bezat dan zijn voorganger.
In 1887 werd De Palmboom gekocht door Jan Terra, wiens familie met de Assendelver meelmolen De Blijdschap maalde. De molen zou lang in bezit blijven van Terra, pas in 1913 deed hij afstand van de molen en bood hij hem op een veiling te koop aan. De Palmboom werd toen gekocht door Jacob Klooster die voortaan doppen met de molen ging malen. De doppenmalerij duurde echter maar enkele maanden en tegen het einde van 1913 liet Klooster kap, as en roeden van de molen verwijderen. De overgebleven romp van De Palmboom ging voortaan als opslagplaats dienst doen voor goederen als aardappelen en cacaobonen.
In mei 1924 verdween de overgebleven romp van De Palmboom om ruimte te creëren voor een verbreding van de Heilige weg.

Met de sloop van De Palmboom verloor Krommenie haar laatste windmolen.