In opdracht van de markies van Bergen op Zoom werd er in 1564 een begin gemaakt om het gebied waar Willemstad nu op staat in te polderen, hierop ontstond uiteindelijk het dorpje Ruigenhil. Nadat Ruigenhil in 1581 aan Willem van Oranje ter compensatie van alle verloren bezittingen tijdens de tachtigjarige oorlog werd gegeven, liet hij het versterken tot een echte vestiging aangezien het op een heel strategische plek lag, hiermee hoopte hij Holland te kunnen beschermen tegen de spanjaarden.