Il y vécut avec sa femme Dorothy et ses deux enfants, sa fille Mary et le cadet, Henry, né en 1826. Sir George retourne en Angleterre en 1855, accompagné de Henry. Sir George décède pendant son séjour là-bas. Henry reviendra au Canada en 1858, et s’occupera de la succession. Il a par la suite tenu un journal personnel, dont malheureusement ne survivent que des parties, qui permettent néanmoins de se faire une bonne idée de ce que fut sa vie et d’apprendre que, dans les années 1840, son père souffrait de ce qu’un historien qualifie de « délires paranoïaques » et que les domestiques travaillant sur le domaine n’étaient pas toujours empressés de servir les enfants du maître. Henry, laissé à lui-même, passera beaucoup de temps dans les bois et nouera de bonnes relations avec les Abénakis qui habitaient dans le secteur. Il apprendra d’eux plusieurs secrets de la vie en forêt qui lui serviront plus tard.

Il retourne en Angleterre dès 1861, apparemment pour s’occuper d’un procès en reconnaissance de paternité sur lequel nous savons malheureusement peu de choses. L’année suivante, de retour en Amérique,  il se joint à un groupe d’une demi-douzaine de jeunes hommes qui partent pour la Colombie-britannique (qui ne fait pas partie du Canada à l’époque), pour un séjour de 3 mois. Se dirigeant vers le bassin du Fraser, où se déroulait une ruée vers l’or, il y vivra en coupant du bois, en chassant et en pêchant, puis en pilotant un bateau-taxi dans le port d’Esquimalt.

En 1863,  il est de retour dans la région. Se jugeant trop vieux à 38 ans pour entreprendre des études et peu doué pour la carrière de marchand, il n’a aucun intérêt à devenir soldat « a very miserable alternative » et s’établit comme fermier à Drummondville. L’année suivante,  il épouse Éliza Caya, fille du boulanger Antoine Caya, âgée de 20 ans. Il avait engagé la jeune femme comme ménagère l’année précédente. Trois employés travaillent sur le domaine en 1870. On y trouve une sucrerie et on y cultive le lin. Plus tard s’ajoutent du bétail, des oies, ainsi que du maïs, du tabac et autres cultures. Trent ne fait guère que superviser les travaux. Cependant, il coupe lui-même le bois de chauffage pour les trois poêles de la maison et se consacre à sa principale passion : la chasse. Il note scrupuleusement, dans son journal, tout le gibier qu’il a abattu :chevreuils, canards, perdrix, lièvres, etc. De même que ce qu’il pêche : esturgeons, saumons, etc.  Trent est d’autant plus à l’aise qu’il continue à recevoir des rentes de ses propriétés en Angleterre. Toutefois, alors qu’il attend un fils pour hériter de sa ferme, Eliza lui donnera 7 filles d’affilées avant d’avoir un premier fils. Elle aura 14 enfants en tout. Cela, et l’âge qui commence à se faire sentir, a peut-être contribué à la décision de Henry de louer la ferme et de déménager à Drummondville, en 1873,  pour ouvrir un magasin. Ce sera d’ailleurs Eliza qui s’en occupera.  Trent qui se consacre à la spéculation foncière, vend aussi, la même année, ses propriétés en Angleterre. Il achète plusieurs lots à Drummondville et surveille de près l’éducation de ses filles et de ses garçons.

Dans les années 1890, Henry Trent retourne vivre sur la ferme familiale. La plupart de ses filles sont alors mariées et, affaibli par l’âge, il se repose de plus en plus sur Éliza et sur ses voisins, ainsi que sur son fils Frederic pour s’occuper de la ferme. De ses filles, 3, Marie-Antoinette, Georgiana et Victoria vont partir pour les États-Unis avec leurs maris. Henriette et Margaret demeurent dans la région. De ses fils, Robin étudiera au Séminaire de Nicolet puis à l’Université McGill pour devenir ingénieur. Enrôlé dans l’armée durant la Première guerre mondiale, il sera tué en 1918. Wiilliam Norris, étudiera lui aussi à Nicolet mais décède des suites d’un accident en 1910.

Henry Trent était déjà décédé en 1906 et Frederick, le plus jeune mais le seul qui avait toujours montré un intérêt pour la ferme, en hérita, avec le manoir, en 1906.  Il gardera le domaine jusqu’à sa mort en 1963. Le Gouvernement du Québec ayant classé le manoir immeuble patrimonial l’année suivante, il fut intégré au parc des Voltigeurs.

Photo histoire de la famille Trent et son manoir (1838-1963) : Verrier, Claude, Drummondville, 1978, Les Cahiers de la Société d’Histoire de Drummondville, p 26