De tuin werd eind 18de-eeuw omgezet in een Engelse landschapstuin. Rond 1830 werd het huis afgebroken, waarbij het toegangshek bewaard bleef. Dit hek, bestaande uit hardstenen staanders gekroond met vazen en een smeedijzeren hekwerk, staat nog steeds langs het Zandpad. Bij bestudering van oude prenten lijkt dit hek bij de ernaast gelegen buitenplaats Otterspoor te hebben gehoord.
Er is een gedicht bewaard gebleven van Claas Bruin (1671-1732) waarin hij de toenmalige eigenaar Sweers noemt:
Elke Hof Verdient Bijzondere Lof:
O Hooge-Vecht! Ik moet u roemen:
Wat vind ik niet al rijke stof,
Om U een Paradijs te noemen,
Waarin heer Sweerts zijn rust en vreugd
Steeds vind, na de afgesloofde pligten;
Hier wordt de droefheid zelf verheugt,
O welk een reeks van keur gezichten!
'k Zie Kom, Terras en Kabinet,
'k Zie Wond'ren, waar 'k mijn voeten zet.
Jacobus Craandijk schreef in deel 2 van zijn Wandelingen door Nederland met pen en potlood uit 1876 het volgende:
Hoogevecht was eenmaal een zeer aanzienlijk goed. Zeker, 't moet er op een' zonnigen zomerdag tamelijk ondragelijk zijn geweest in die lange, breede lanen met haar' bonten opschik van geknipte graskrullen, marmeren beelden, pyramide- en pruikboompjes, wanhopig regelmatig tusschen eindelooze geschoren hagen en met een tempeltje op een bergje in 't verschiet; wij zouden al die terrassen met hun stijve, stijle kanten, waar men niet dan met trapjes kon opklimmen, onuitsprekelijk vervelend noemen; wij zouden vermoedelijk het liefst maar hebben neêrgezeten op het steigertje aan de Vecht, waar wij althans een weinig frischheid en een weinig natuur hadden gevonden en hopen mogten op eenig lommer van de hoogopgesnoeide boomen voor het huis.
