Kasteel Hernen is in de middeleeuwen in bezit van de burggraven, dijkgraven en richters van het Rijk van Nijmegen. Zij zijn in dienst van de hertogen van Gelre.