Le bâtisseur fut alors peut-être Gérard de Teylingen (†1164)? Ou son fils Hugo?
(Voir au sujet des premiers sires de Teylingen: Moerman, I.W.L. (1976). De ruïne van Teylingen, Deel XXVI uit de serie Nederlandse Kastelen, Nederlandse Kastelenstichting, ANWB, p.7;)