Het kasteel is gebouwd door Maarten van Rossem, veldheer van het leger van Karel van Gelre.