Eigenlijk stond hier al in de 9de eeuw een hof Doorn, dat eigendom was van de Domproosdij te Utrecht. Op het hof werd de opbrengst van de bebouwing van de omringende landerijen opgeslagen. Het hof kon daarmee de voedselvoorziening van het Domkapittel verzorgen. Het hof werd bestuurd door een hofmeier (een soort rentmeester, hoofd van de administratie).
In het begin van de 13de eeuw werd het systeem van hofmeiers langzaam afgeschaft en het hof Doorn viel toe aan de domproosten, die er vervolgens kasteel Doorn lieten bouwen.
(naar: Hermans, T. & J. Kamphuis (1994?). Huis doorn: van kasteel tot landhuis. URL: http://tacohermans.nl/doorn.htm)