Культурное наследие Франции разрушали не только время и ход истории. Чуть ли не каждую неделю отмечались случаи краж, вандализма и расширения городской застройки с целью наживы. Знаменитый римский мавзолей, расположенный на окраине города Сен-Реми, достигает, вероятно, восемнадцати метров в высоту, однако незадолго до его осмотра Мериме в 1834 году некий «англичанин» («ростбифы» — вечные козлы отпущения) умудрился посреди ночи слазить на самый верх и скрыться с головами двух задрапированных изваяний. Остановившиеся на постой в Папском дворце Авиньона солдаты-корсиканцы обеспечивали себе прибавку к жалованью, приторговывая отколотыми средневековыми фресками; а некий предприимчивый садовод тем временем прибрал к рукам знаменитый городской мост, засадив его миндальными деревьями и капустой. В Шарите-сюр-Луар два слесаря прилепили свои дома к стене аббатской церкви, да так, что их кроватные ниши оказались украшены великолепными барельефами XI и XII веков. За месяц до приезда Мериме некий солдат, устроившийся на постой к одному из слесарей, спал подле скульптуры Бога Отца, окруженного святыми и ангелами. Спалось солдату из рук вон плохо. Наутро он взял дубину, жестоко покарал изваяние, а под конец, приговаривая «Ты сотворил клопов — вот тебе за это», снес Богу голову.

Давал о себе знать и вандализм ведомственный. Исторические сооружения были приспособлены под склады, магазины, конюшни и пивные. Папский дворец превратили в казармы, Нуарлакское аббатство — в фарфоровый завод. Собор Сент-Этьен в Страсбурге после революции использовался сначала как концертный зал, а потом как табачный склад. Церковь Сен-Савиньен в Пуатье служила тюрьмой, а на ее клиросе размещалась камера для душевнобольных. К Главному инспектору обратились за разрешением уничтожить и без того немногочисленные ценнейшие скульптуры — элементы внутреннего убранства, потому что арестанты забирались на них для побега. Миссия Мериме почти никогда не находила понимания у властей предержащих: министерство по делам религий, как считал он, только мешало, министерство общественных работ только разрушало, а министерство военных дел и вовсе оказалось «главным вандалом Франции». Неподалеку от Карнака рабочие, не желая прокладывать дорогу в обход, вдребезги разбили «великолепные менгиры Эрдевена». Жители Орлеана снесли свою старинную центральную городскую больницу. В городе Бурж богато декорированный в позднеготическом стиле дворец Жака Кера превратили в зал суда, что нанесло ущерб внутренней отделке и убранству. Мериме счел невозможным реконструировать интерьеры дворца в первозданном виде, поскольку это «вынужденно привело бы к измышлениям». Подобные решения ему приходилось принимать постоянно, и Мериме выразил свой принцип следующим образом: «Лучше укреплять, чем ремонтировать, лучше ремонтировать, чем реставрировать, лучше реставрировать, чем приукрашивать, но ни в коем случае не сносить».