Prima di essere un castello, Sainte Claire era un convento di Clarisse costruito nel 1634 sul lato occidentale del secondo muro dell'antico castello.
Nel 1849, Olivier Voutier, ufficiale di marina e archeologo di fama - scoprì la Venere di Milo nel 1820 durante una missione nelle Cicladi - acquistò le rovine e fece costruire l'edificio attuale. Vi condusse una vita discreta, essenzialmente familiare, e accolse ospiti invernali famosi come il compositore Ambroise Thomas (1811-1896).
Nel 1927, il castello fu acquistato dalla scrittrice americana Edith Wharton, che fece allestire l'attuale giardino botanico, ricco di specie esotiche. L'autrice vi abitò per 10 anni. Durante questo periodo, la proprietà divenne un luogo di residenza per i numerosi scrittori e accademici anglosassoni che costituivano il suo entourage. Dopo la sua morte, il castello passò di mano diverse volte fino a quando il Comune lo acquistò nel 1955. In seguito è stato adibito a diversi usi: hotel di lusso, stazione radiofonica locale, compagnia di assicurazioni.
Dal 1990 è stato affittato al Parco Nazionale di Port-Cros, che ne ospita i servizi amministrativi.
Il giardino, che si estende per 6.500 m2, è situato sulle alture della città e gode di una vista ininterrotta sul porto di Hyères. Il giardino è stato insignito del marchio nazionale "Giardino notevole".
Leggi di più