Het Nationaal Orgelmuseum zit in het oudste gebouw (1396) van Elburg. Ooit behoorde dit stadskasteel toe aan de hertog van Gelre. Later diende het gebouw vijf eeuwen lang als stadhuis.