In het kasteel waren voor 10 mei 1940 Nederlandse militairen gelegerd. Dit waren er tussen de 10 of 100. Op de eerste oorlogsdag, 10 mei, kwamen enige Duitsers met een waarschijnlijk van Nederlanders gestolen auto het Kerklaantje inrijden. Bij het brugje reden ze zich vast. De brug was te smal voor een auto. Eén van de Nederlandse militairen uit het kasteel, men zegt een sergeant, zeker een scherpschutter, schoot één of twee Duitsers dood. Een derde nam te voet de vlucht, nam gijzelnemers mee en ging daarmee in een weiland liggen. Tussen hen is een Nederlandse militair. Waarschijnlijk dezelfde scherpschutter schoot de Duitser er tussenuit. Hij werd zwaargewond naar Maasoord gebracht en overleed daar.

Wat later vestigden de Duitsers zich in of bij het kasteel. Aanvankelijk werden de Duitse bezetters ondergebracht in de Christelijke school aan de Rijsdijk, maar zij gingen in het bos voor het kasteel een barakkenkamp bouwen. Toen dat gereed was trokken ze daarin en kwam de school weer beschikbaar voor onderwijs. De bezetters hebben in het kamp gebivakkeerd tot juni 1944 toen de invasie in Frankrijk begon en alle militairen daarheen moesten om tegen de geallieerden te vechten.