De Paddestoel ligt midden in de bossen van Nationaal Park Utrechtse Heuvelrug. Het terrein grenst aan landgoed Moersbergen, dat deel uit maakt van een reeks landgoederen tussen de Utrechtse Heuvelrug en de Kromme Rijn. Aan dit gebied, waar moerasachtige gronden overgaan gaan in de zandgronden van de heuvelrug, ontleent het landgoed zijn naam.

Moersbergen vormt een duidelijke landschappelijke eenheid. Bossen met lanen, afgewisseld door akkers en weiden verhogen de natuurwaarde van dit 99 ha groot landgoed. De diversiteit in boom- en struiksoorten komt voort uit de actieve bosbouw die hier in de 19e eeuw is gevoerd. Op het landgoed wordt regelmatig wild gezien.

Kasteel Moersbergen, waarvan wordt gefluisterd dat de fundamenten teruggaan tot de achtste eeuw, wordt voor het eerst vermeld in 1435. Sindsdien is het steeds particulier bewoond geweest tot op de dag van vandaag. De tuin van De Paddestoel heeft direct toegang tot het landgoed, waar schitterende wandelingen mogelijk zijn.