Op de vanaf 1901 daartoe opgegraven fundamenten van het verwoeste voorvaderlijk kasteel in opdracht van Jhr. C.H.C.A. van Sypesteyn fasegewijs in sobere 'middeleeuwse' trant - deels geinspireerd op een tekening van Jan de Beijer uit 1749 - herbouwd kasteel, met Toren (1912-13, naar ontwerp van W. de Vrind jr.), 'Gothisch Huis' (1918-20), Westbouw (1920-22), Noordbouw (1924, hoofdingang 1927), waarbij zoveel mogelijk gebruik is gemaakt van authentieke bouwmaterialen en interieur-onderdelen, en bestemd als museum voor de particuliere kunst- en antiekcollecties van de opdrachtgever.

Het KASTEEL-MUSEUM - dat volgens de oorspronkelijke plannen nog zou worden uitgebreid met een rechthoekig gebouw aan de noordzijde - is opgetrokken in baksteen op onregelmatige plattegrond met verschillende in- en uitspringende bouwvolumes gegroepeerd rondom een min of meer centrale binnenplaats, deels onderkelderd en merendeels twee bouwlagen en kapverdieping bevattend onder samenstel van zadel-, schild- en tentdaken met leien in maasdekking tussen tuit- en trapgevels. De gevarieerd over de gevels verdeelde, in boognissen geplaatste vensters zijn in verschillende formaten uitgevoerd - deels met kruiskozijnen, deels zonder bovenlicht, deels met tralies - en hebben bij de Toren en de westgevel van de Noordbouw geel/rood gekleurde luiken; behalve de keldervensters hebben vrijwel alle vensters een glas-in-loodvulling.

De vier bouwlagen tellende Toren - waarin ondermeer de Wapenkamer en Torenkamer - bevat rondom een boogfries, een weergang met kantelen en spuwers op de hoeken, en wordt bekroond door een vierzijdige spits met twee rijen kleine dakkapellen boven elkaar en een bol met van wapen voorziene windwijzer.

Het twee bouwlagen en kaplaag tellende Gothische Huis - waarin ondermeer de Gothische Kamer, IJzerkamer, Hoekkamer en Tussenkamer - heeft aan de zuidwestzijde een trapgevel en in de hoek bij de binnenplaats de door een tentdak gedekte traptoren met stenen spiltrap.

Van de drieledige en onderkelderde Westbouw - met ondermeer de Beneden- en Bovenzaal, kantoor, Porseleinkamer en trappenhuis - bevat de zuidwestpartij een trapgevel waartegen de uitwendige toegangstrap naar de beletage is gemetseld met bakstenen balustrade en ingangsportiek naar het souterrain; de aangrenzende tuitgevels bevatten voorts sierankers, terwijl de zijgevels zijn voorzien van een dubbele tandlijst.

De ten dele voltooide Noordbouw - met ondermeer de hal, Groene en Witte Kamer - bevat aan de noordelijke uiteinden twee voor de uitbreiding bestemde, doch onvoltooide muurdammen. Tegen de noordoostgevel is een bakstenen toegangstrap van vijf treden tussen vleugelmuren geplaatst, leidend naar de oorspronkelijk als hoofdingang bestemde spitsboogvormige paneeldeur in geprofileerde, natuurstenen omlijsting. Nabij de binnenplaats een hoogopgaande smalle toren op een van cirkelvormig naar achtzijdige doorsnede overgaande grondslag.

Inwendig zijn de meeste vertrekken - behalve de overwelfde kelderruimten - voorzien van houten vloerdelen en balklagen en naar stijl of thema ingericht met gebruik van de kunst- en antiekcollectie van de stichter, inclusief de hergebruikte historische interieur-onderdelen (zoals ondermeer deuren, de 17e-eeuwse statietrap en schouwen).

Kasteel-museum met bijbehorende inventaris en interieuronderdelen, hoofdgebouw van het Sypesteyn-complex en als zodanig van architectuur-, kunst- en cultuurhistorisch belang.