Het kasteeltje ligt op een vierkant eilandje, met daarachter een tweede eilandje waarop de tuin zich bevindt. Het kasteel, vroeger ook Walensteyn genoemd, werd al in de 13de eeuw genoemd. Eind 13de of begin 14de eeuw werden er twee verdiepingen opgebouwd waarna de huidige hoogte van bijna 15 meter werd bereikt.
De donjon is waarschijnlijk uit de 14de eeuw, en stond jarenlang alleen. De toren bestond oorspronkelijk uit slechts één ruimte waarboven zich een gevechtsplatform bevond. De gevel was toen 6,5 meter hoog. De muren zijn 120cm dik. Het gebouw steunt op gewelven en hoekpijlers. Rond 1550 werd er een woonvleugel aangebouwd.
In 1803 kwam het kasteel in het bezit van de familie van Lynden van Sandenburg. Gijsbert Karel Cornelis Jan baron van Lynden van Sandenburg liet de bijgebouwen slopen en tegen de toren werd een boerderij gebouwd. Het vervallen kasteel werd in 1965 – 1967 gerestaureerd door architect Elias Anthony Canneman, toen hoofdarchitect van Monumentenzorg. Hierbij werd het poortgebouw gereconstrueerd. Met zijn echtgenote, de tuinarchitecte Maria Elisabeth Canneman-Philipse legde hij op het rechthoekig omgrachte terrein een geometrische tuin aan. De verschillende kamers vormen een verlengstuk van het kasteel. De tuin wordt door de Nederlandse Tuinenstichtingbeheerd.
Na zijn pensionering woonden Canneman en zijn echtgenote op het kasteel. Daarna werd de Walenburg betrokken door een lid van de familie van Lynden van Sandenburg. In 2000 werd het in erfpacht uitgegeven.