Willem van den Bergh, kasteelheer van Huis Bergh, wisselde in de Tachtigjarige oorlog enkele malen van Oranje naar Spaanse kant en weer terug. Het kasteel werd meerdere malen veroverd door beide partijen.