Het Huis Rupelmonde aan de Vecht, Hermanus Numan, 1754 - 1820