Né d'une famille d'artistes bourgeois installée près du Panthéon, Prosper Mérimée fait des études de droit avant de s'intéresser à la littérature et de publier dès 1825 des textes, notamment des nouvelles, « Carmen », « La Vénus d'Ille »... qui le font connaître et lui vaudront d'être élu à l'Académie française en 1844.

En 1831, il entre dans les bureaux ministériels et devient inspecteur général des Monuments Historiques. Il voyage alors à travers toute la France. Proche de l'Impératrice Eugénie, il est fait sénateur en 1853 et se consacre davantage à des travaux d'historien et d'archéologue. « Je n'aime de l'histoire que les anecdotes » disait Mérimée.

On ne peut plus à propos que celle-ci. Un jour qu'il était de passage au Cannet, il demande à une vieille personne le nom de la Tour des Danys. Celle-ci ne parlant que le provençal lui répond : « Ah Moussu ! Es habitado per aqueu brigand d'Agnelin s'enebrio chasque jou » (Ah Monsieur ! Elle est habitée par ce brigand d'Agnelin qui s'enivre chaque jour). Prosper Mérimée n'ose lui demander de répéter. Ayant cru entendre un mot ressemblant à brigand, il la baptise alors « Tour des brigands », nom parfois encore utilisé.