In een oorkonde van 1 augustus 1341 wordt voor het eerst melding gemaakt van het Huis te Rumpt. Door Ricoud van Heeswijk, proost van St. Pieter te Utrecht werd aan Hertog Reinald opgedragen: "mijn huys (ende) mijn hoffstadt te Roemde mit allen dien voirborchten, graven, vesten ende tymmer, dat dair nu staet off namails staen sall, mit den bongaerden, mit den wiere ende mit allen den lande, dat ick liggende heb aldair te Roemde, butendijcx der Linghen waert, van den dorp te Roemde nederwaert tot des abds land van sunte Marienwerde, dat beneden mynen huys voirs gelegen is".

Het geslacht Van Scherpenzeel

Uiteindelijk komt het Huis te Rumpt op 10 mei 1550 in het bezit van Thomas van Scherpenseel (ook Scerpenzeel, later Scherpenzeel). Sindsdien is dit geslacht vervolgens tot circa 1741 aan dit huis en het dorp Rumpt verbonden geweest.

Ook voor die tijd moet er echter een relatie hebben bestaan. Het bewijs hiervan is tot op de dag van vandaag nog overduidelijk aanwezig. Tussen de Grote en Kleine Wiel in de uiterwaard langs de Molendijk waar vroeger het Huis te Rumpt heeft gestaan, staat nu nog een hardstenen veldkruis, hoog 259 cm, met daarop een afbeelding van het wapen van het geslacht Van Scherpenzeel en in gotische letters d tekst: Het Huis te Rumpt "Int Iaer MVcXXVII op sunte Severynsdach opt hof te remdt blef doot Ot van Scerpenzeel lefft XXVI. Byt voer dye zyel om Gods wyl".

Otto van Scherpenzeel, zoon van Carselis en Maria van Zylen van Anholt, was jagermeester en richter van Arnhem en Veluwezoom. Hij sneuvelde in de strijd tegen de Stichtsche krijgsbenden van zijn oom bisschop Rudolf van Anholt, nadat deze het nabijgelegen Gellicum hadden geplunderd.

Het verval

In het begin van de achttiende eeuw verkeerde het Huis te Rumpt reeds in niet al te beste staat. Het behoorde toen officieel toe aan ene Johan van Scherpenseel. Deze was echter zwakzinnig en daarom gedroeg zijn jongere broer Erasmus zich als Heer van Rumpt en tekende ook als "Erasmus van Scherpenzeel de Rumdt". Het huis werd destijds verhuurd aan een boer Dirk Abrahamsz. Bogaert of Van den Boomgaert. Deze liet wel wat herstelwerk verrichten, maar ook niet meer dan echt noodzakelijk was. Erasmus van Scherpenseel stierf ongehuwd in 1716. In 1721 constateert een tante Barbara van Scherpenseel "dat onsen innosenten neef (Johan), den tegenwoordigen heer van Rumdt, van sijn inkomsten niet soude konnen onderhouden worden en dat alle jaer meer vertert als sijn goederen opbrenge". Droef was het dus gesteld met deze laatste Scherpenseel. Op afbeeldingen uit die tijd zien we het adellijke huis al sterk in verval. In 1728 lag de helft ervan in puin. Bij de dood van Johan in 1741 kwam het in bezit van diens neef Diederik Johan Heerman in wiens geslacht de gronden nog vele jaren zijn gebleven. Het verval nam hand over hand toe, het trotse bouwwerk bleek niet meer te redden en is niet meer herrezen.