Если в поиске всплывают страницы внутреннего поиска, пустые архивы, теги с тонким контентом и бесконечные страницы пагинации, это обычно не помогает сайту, а мешает: поисковик тратит обход на технические URL, а релевантность размывается. В WordPress такие страницы появляются автоматически, и закрывать их от индексации нужно не «всё подряд», а только те типы, которые действительно создают мусор или дубли.
Ниже — практический разбор: что закрывать, что лучше оставить открытым и как это сделать без поломки сайта.
Какие служебные страницы WordPress обычно закрывают
В первую очередь речь о страницах, которые сами по себе не несут самостоятельной ценности для поиска или дублируют уже существующие материалы.
- Страницы внутреннего поиска — URL вида
?s=запрос. Они зависят от пользовательского запроса, часто создают бесконечное число вариантов и редко должны попадать в индекс. - Пагинация архивов — страницы
/page/2/,/page/3/и дальше. Это не дубли в прямом смысле, но они часто не нужны в поиске, если основная ценность сосредоточена на первой странице архива. - Теги — особенно если тегов много, а под каждым всего 1–3 записи. Такие архивы обычно получаются тонкими и повторяют структуру рубрик.
- Архивы дат — по месяцам и годам. На новостных и блоговых сайтах они иногда полезны, но чаще это просто ещё один слой навигации без уникальной ценности.
При этом не стоит автоматически закрывать все архивы. Если теговый архив у вас реально собирает тематическую подборку с нормальным количеством материалов и отдельным поисковым спросом, его можно оставить открытым. То же самое касается архивов авторов на многопользовательском сайте, если они содержат полноценные подборки публикаций и полезное описание автора.
Что лучше оставить открытым
Главная ошибка — пытаться убрать из индекса всё, что выглядит «служебным». В WordPress есть страницы, которые помогают поиску и пользователю, а не мешают.
Обычно стоит оставить открытыми:
- Главную страницу сайта и основные посадочные страницы.
- Рубрики, если они действительно являются логичной структурой контента и на них есть достаточное количество материалов.
- Страницы записей — это основной контент сайта.
- Архивы авторов — только если они наполнены и имеют смысл для посетителя.
Если рубрика или тег пустые, почти пустые или дублируют друг друга, их лучше либо закрыть, либо вообще не создавать в таком виде. Закрытие от индексации не исправляет плохую структуру сайта, а только уменьшает видимость её последствий.
Как закрыть поиск, теги, архивы и пагинацию в WordPress
Есть три рабочих подхода: через SEO-плагин, через настройку robots.txt и через код. Для большинства сайтов удобнее и безопаснее использовать SEO-плагин, потому что он позволяет управлять мета-тегами без правки шаблонов.
1. Через SEO-плагин
Если у вас установлен SEO-плагин, ищите в нём настройки индексации архивов, таксономий и страниц поиска. Логика обычно такая:
- для страниц поиска ставится
noindex; - для тегов и архивов можно отключить индексацию целиком или выборочно;
- для пагинации архивов часто используют
noindex, follow, если плагин это поддерживает.
Это самый практичный вариант, потому что он не требует ручной правки шаблонов и проще проверяется после изменения.
Если вы используете Clearfy Pro, у него есть инструменты для удаления дублей и чистки технических страниц. Такой подход удобен, когда нужно централизованно управлять служебными URL без ручного кода. Подробности о продукте: https://wpshop.ru/plugins/clearfy.
2. Через мета-тег robots
Если плагин не подходит, можно добавить мета-тег robots в шаблон для конкретных типов страниц. Это уже решение для темы или дочерней темы, поэтому перед изменениями сделайте резервную копию.
Пример для страниц поиска:
add_action('wp_head', function () {
if (is_search()) {
echo '<meta name="robots" content="noindex,follow">' . "\n";
}
});Такой код добавляет запрет на индексацию только на страницах поиска. Для тегов, архивов дат или пагинации логика будет похожей, но с другими условиями WordPress: is_tag(), is_date(), is_paged(). Не вставляйте этот код в произвольный файл без понимания, где именно он подключается: лучше использовать дочернюю тему или плагин для сниппетов.
Для пагинации важно понимать нюанс: если вы ставите noindex на все страницы архива, кроме первой, это может быть оправдано для небольших сайтов. Но на крупных проектах пагинация иногда помогает поисковику находить старые записи. Здесь решение зависит от структуры контента и того, как сайт реально обходится роботами.
3. Через robots.txt
robots.txt можно использовать для ограничения обхода, но это не то же самое, что закрытие от индексации. Если страница уже известна поисковику, запрет в robots.txt не гарантирует её исчезновение из выдачи. Поэтому для поиска, тегов и архивов обычно надёжнее мета-тег noindex, а не только robots.txt.
Robots.txt полезен, когда нужно уменьшить лишний обход, но не как основной инструмент удаления страниц из индекса.
Какой вариант выбрать для конкретного типа страниц
| Тип страницы | Обычно закрывают? | Комментарий |
|---|---|---|
| Поиск сайта | Да | Почти всегда техническая страница без самостоятельной ценности. |
| Пагинация архивов | Часто да | Зависит от размера сайта и роли архивов в навигации. |
| Теги | Часто да | Особенно если тегов много и они пустые или слабые. |
| Архивы дат | Чаще да | Полезны не на всех сайтах; часто дублируют рубрики и поиск. |
| Рубрики | Не всегда | Если рубрика — основная структура сайта, её лучше оставить открытой. |
Эта схема не заменяет анализ сайта. Если у вас новостной проект, архивы дат могут быть полезнее, чем на корпоративном блоге. Если сайт небольшой и статьи хорошо распределены по рубрикам, теги и архивы дат часто только создают шум.
Как проверить, что закрытие сработало
После настройки не ограничивайтесь тем, что «в админке всё включилось». Нужно проверить результат снаружи.
- Откройте страницу поиска, тег или архив в браузере и посмотрите исходный код: в
<head>должен появитьсяnoindex, если вы использовали мета-тег. - Проверьте, не закрыли ли вы случайно важные страницы, например рубрики или записи.
- В Google Search Console посмотрите, как робот видит страницу: если URL уже был в индексе, исчезновение может занять время.
- Убедитесь, что страница не стала отдавать ошибку 404 или 403 — закрытие от индексации не должно ломать доступ для пользователя.
Если вы меняли шаблон вручную, полезно проверить несколько типов URL: обычную страницу архива, вторую страницу пагинации и страницу поиска с запросом. Ошибки часто появляются именно на одном из этих вариантов.
Чего не стоит делать
Есть несколько типичных решений, которые выглядят удобными, но на практике создают проблемы.
- Не закрывайте всё через robots.txt, если цель — убрать URL из индекса. Это не одно и то же.
- Не ставьте noindex на весь сайт из-за нескольких служебных страниц.
- Не удаляйте архивы без проверки внутренней перелинковки: если на них завязана навигация, вы можете ухудшить обход и удобство сайта.
- Не плодите теги ради структуры. Если тегов много и они пустые, проблема в архитектуре контента, а не только в индексации.
Если коротко: закрывать нужно не «всё техническое», а только то, что реально мешает поиску и не приносит ценности пользователю. На большинстве сайтов это внутренний поиск, слабые теги и часть архивов. Пагинация требует отдельного решения: иногда её лучше оставить, иногда ограничить индексацию, но делать это стоит после проверки структуры сайта и того, как поисковики уже обходят ваши страницы.