Зачем удалять устаревший контент. Рассмотрим несколько ситуаций, когда вам может понадобиться удалить устаревший контент:
Обновления в ассортименте интернет-магазина
В интернет-магазине с огромным ассортиментом товаров внушительная часть позиций может быть недоступна. Какие-то будут временно отсутствовать на складе, часть снимут с производства или заменят другими. Образуются десятки или сотни неактуальных товарных страниц
В зависимости от потребностей бизнеса и особенностей технологий может потребоваться удалить их из индекса временно или навсегда. К примеру, чтобы на них не тратился краулинговый бюджет сайта. Тогда роботы не будут тратить ресурсы на сканирование неактуальных страниц, а сразу пойдут на важные.
Устаревшие новости и статьи
Новости по своей природе быстро устаревают. Многие новостные сайты выпускают заметки часто и регулярно, в некоторых СМИ это несколько в час. Из-за этого сайт сильно разрастается. Многие устаревшие новости никогда больше не понадобятся и не принесут трафик такие можно и удалить.
Статьи также устаревают. Если советы из материала больше не работают, их можно актуализировать. Если в этом нет смысла, можно поставить редирект на другой материал по той же теме. Но иногда тема уходит в прошлое в принципе, как продвижение в Google+, так что нет смысла дорабатывать статью и не на что ее редиректить. Тогда материал можно удалить.
Строгое регулирование отрасли
Есть отрасли, которые строго регулируются законами, к примеру, медицина или финансы. Когда появляются новые законные требования к этим сайтам, приходится добавлять какие-то документы и соглашения, обновлять сайт и менять контент. Иногда нужно срочно что-то удалять, чтобы не попасть на штрафы или даже блокировку.
К примеру, особые требования к медицинским статьям для широкого круга читателей существовали не всегда, и когда они появились, пришлось добавлять плашки с напоминанием обратиться к врачу, переписывать рекламные материалы, а что-то наверняка и удалять.
Акции с ограничением по времени
Многие интернет-магазины делают отдельные страницы к специальным распродажам. К регулярным распродажам типа Черной пятницы страница может понадобиться и через год, но в целом с окончанием акции такие страницы перестают быть нужны.
Есть мнение, что если клиенты видят закончившуюся распродажу с выгодными скидками, им становится менее интересно покупать товар, поскольку они расстраиваются из-за упущенной выгоды и думают, что теперь переплатят.
Как удалить устаревший контент
Удаление контента это не всегда история о безвозвратном удалении страницы. Есть несколько уровней: можно удалить ее только из индекса, оставив на сайте, тогда пользователи не найдут ее в выдаче, но смогут перейти на нее по ссылкам с других страниц или из закладок. А можно удалить и с сайта навсегда или временно отправив ее в архив.
Некоторые из наиболее распространенных методов удаления устаревшего контента:
Тег noindex
Можно не удалять страницу с сайта, а дать роботам сигнал не индексировать ее с помощью тега noindex. Если она уже есть в индексе, при следующем обходе боты должны увидеть тег и убрать ее из индекса.
<meta name="robots" content="noindex"/>Тег noindex можно настроить с помощью SEO-плагинов для CMS, эта функция часто в них встречается.
Пользователи по-прежнему смогут зайти на страницу, если на нее ведут внутренние ссылки на сайте или если они посещали ее раньше и сохранили в закладках адрес.
Удаление страницы из индекса с помощью noindex не будет необратимым действием. Если вы захотите вернуть страницу, удалите тег и при следующем сканировании поисковый бот это увидит.
Обратите внимание, что если вы удалили из индекса страницу с хорошими позициями, не факт, что если вы уберете noindex, она вернется на ту же строчку выдачи.
Инструмент удаления URL-адресов в Яндекс.Вебмастере
Можно ускорить процесс удаления из Яндекса. Сначала нужно запретить их индексирование: прописать disallow в файле robots.txt и указать на странице метатег robots с директивой noindex. Это обязательно. При следующем обходе робот увидит эти сигналы.
Для ускорения процесса в Вебмастере есть инструмент «Удалить URL». Чтобы удалить отдельные страницы, выберите «По URL» и введите адрес. В сутки можно удалять до 500 адресов одного сайта.
На этой же странице будут отображаться статусы URL «В очереди на удаление», «В процессе», «Удалена» или «Отклонено», если не указан запрет на индексирование или если бот получает какой-то другой ответ сервера, кроме 404 Not Found, 403 Forbidden или 410 Gone.
Чтобы удалить целую группу страниц, нужно выбрать «По префиксу», тогда будут удалены страницы, содержащие в URL указанный шаблон. К примеру, https://site.com/catalogue/ для всех страниц каталога, https://site.com/page? для URL с параметрами.
В сутки можно ввести до 20 префиксов для одного сайта.
Есть момент: страницу, запрещенную с помощью disallow, все равно могут проиндексировать, если на нее будут ссылаться другие страницы сайта. Бот может решить, что раз есть ссылки, то страница важна.
Инструмент удаления URL-адресов Google Search Console
У Google тоже есть такой инструмент это «Инструмент удаления URL» в консоли Google.
Он позволяет временно удалить URL-адрес или адреса по вашему выбору.
Можно удалить все URL с определенным префиксом. Например, удаление site.com/products/ приведет к удалению всех других URL-адресов с /products/ в пути URL:
- site.com/products/alarm-clocks/
- site.com/products/house-plants/
- site.com/products/flasks/
Также можно удалить только кэшированную версию URL или ее фрагмент тег заголовка и описания, которые отображаются в результатах поиска. Это может быть полезно, если в этих фрагментах цены, телефоны или предложения, которые поменялись, и вам нужно быстро изменить отображение страницы.
301 или 302 редирект
Еще вариант настроить со страницы перенаправление на другую. К примеру, если производство одного вашего продукта остановлено на неопределенный срок, можно настроить редирект на страницу с аналогами. Это позволит не терять пользователей, а предложить им другое решение, к тому же страница не выпадет из поиска. Когда товар снова появится в наличии, редирект нужно просто удалить.
Также и с информационными страницами: если статья нетрафиковая или потеряла актуальность, можно перенаправлять пользователя на другую по той же теме.
Удаление страницы с сайта
Другое быстрое решение просто удалить страницу с сайта, если она не нужна. Если робот получит 404, 403 или 410 HTTP-код ответа сервера при обращении, он исключит ее из индекса.
Если удаляете страницу, на других страницах сайта удалите или замените и ссылки на нее, чтобы пользователи на натыкались на недоступную страницу по ссылкам с другого контента или из закладок.
Если страница сейчас получает трафик, имеет потенциал для получения трафика в будущем или приносит хорошие обратные ссылки, лучше все-таки не удалять ее, а настроить редирект на другую.
Не удаляйте вообще
В некоторых случаях можно не удалять неактуальную страницу, если она будет нужна через какое-то время. Когда дело доходит до регулярных распродаж, таких как Черная пятница, разумным решением может быть просто оставить страницу активной на неопределенный срок, разместив на ней сообщение о том, что распродажа начнется через «xxx месяцев или дней». Тогда не придется каждый раз развивать новую страницу, а старая будет прокачиваться со временем.
Пример страница Черной пятницы на сайте Argos. В январе 2021 года она работает и занимает место на первой странице Google по запросу «распродажа в черную пятницу», хотя акция начнется в ноябре.
Ненадежные способы
Для удаления страниц из индекса поисковых систем иногда используют канонические теги, но их лучше использовать для отметки похожего контента, а не устаревшего. Нет гарантии, что поисковые боты будут обращать внимания на канонический тег, часто они принимают свои решения о показе страницы.
Кто-то использует указания об индексировании в файле robots.txt, но этот файл боты Google воспринимают как рекомендации, а не как правила. Если использовать robots.txt для удаления страниц из индекса, то в совокупности с другими способами.
