En fait, il se dressait à cet endroit une ferme (fortifiée) déjà au 9ème siècle, laquelle était la propriété de la prévôté d'Utrecht. On entreposait dans cette ferme le produit de la culture des terres environnantes. La ferme pouvait ainsi ravitailler le chapitre d'Utrecht. La ferme était administrée par un « maire » (régisseur, chef de l'administration).
Au début du 13ème siècle, le système des maires disparut progressivement et la ferme de Doorn revint aux prévôts épiscopaux, qui y firent ensuite construire le château de Doorn.
(d'après: Hermans, T. & J. Kamphuis (1994?). Huis doorn: van kasteel tot landhuis. URL: http://tacohermans.nl/doorn.htm)