Belvedere sul fianco di uno sperone roccioso, i resti del castello-fortezza medievale dominano Sant'Agnese dall'alto dei loro 800 metri: da qui si gode di una vista fiabesca a 360º sulla baia di Mentone, il Mar Mediterraneo e le montagne
La torre e le assisi del castello risalgono alla fine del X secolo. Si trovano i primi scritti che raccontano la presenza della fortezza intorno al 1180. Possesso del Conte di Ventimiglia Guido Guerra, fu in seguito ceduto al Conte di Provenza. In seguito a questa vendita, dalla fine del XIII secolo fino al XIV secolo, si entrò in un ciclo di continui conflitti con i genovesi. Nel 1388, Sant'Agnese e tutto il paese di Nizza si unirono ad Amedeo VII, conte di Savoia.