robots.txt в WordPress нужен не для «ускорения индексации», а для аккуратного управления тем, что поисковый робот может и не может запрашивать. Ошибка здесь обычно одна и та же: в файл добавляют слишком жёсткие запреты и случайно закрывают не только служебные разделы, но и CSS, JS, изображения или даже важные страницы сайта. Если задача — быстро привести сайт в порядок для поисковиков, начинать стоит именно с robots.txt, но править его нужно осторожно.
В WordPress этот файл часто вообще не лежит на сервере как обычный документ. Если физического robots.txt нет, WordPress может отдавать виртуальный вариант через свой механизм. Это удобно, но есть важный нюанс: как только вы создаёте реальный файл в корне сайта, именно он начинает работать вместо виртуального. Поэтому сначала полезно понять, какой вариант у вас сейчас используется.
Что должно быть в robots.txt WordPress по умолчанию
Для большинства сайтов базовая задача простая: не пускать роботов в служебные разделы, но не мешать им видеть публичные страницы и ресурсы темы. В WordPress обычно имеет смысл закрывать такие области, как /wp-admin/, а также не давать индексировать служебные URL, которые не нужны в поиске. При этом не стоит запрещать папки с темой, плагинами, стилями и скриптами, если они отдаются из публичной части сайта.
Типичная безопасная основа выглядит так:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpЭтот вариант не закрывает сайт целиком и не мешает поисковым системам обращаться к фронтенду. Строка Allow: /wp-admin/admin-ajax.php нужна потому, что этот файл часто используется темой и плагинами на публичной части сайта. Если его запретить без необходимости, можно получить проблемы с работой отдельных функций, особенно на сайтах с динамическими блоками, фильтрами и формами.
Как правильно отредактировать robots.txt в WordPress
Самый надёжный путь — не править файл «на глаз» через случайный редактор, а сначала проверить, есть ли у сайта уже свой robots.txt. Откройте в браузере адрес https://ваш-домен/robots.txt. Если файл открывается, значит он уже существует как реальный файл или как виртуальный ответ WordPress. Если видите содержимое, которое вам не подходит, его и нужно менять.
Дальше есть два рабочих варианта:
- через файловый менеджер хостинга или FTP/SFTP, если у вас есть доступ к корню сайта;
- через SEO-плагин, если он умеет редактировать robots.txt и вы хотите делать это из админки.
Редактировать через хостинг обычно надёжнее: вы точно понимаете, какой файл меняете и где он лежит. Но если вы не уверены в доступе к файловой системе, удобнее использовать встроенный редактор плагина. Главное — не создавать второй robots.txt в другой папке и не рассчитывать, что поисковики его найдут. Для роботов важен только файл в корне домена.
Если вы создаёте физический файл, положите его именно в корень сайта рядом с wp-config.php, а не в папку темы или плагина. После сохранения снова откройте /robots.txt в браузере и проверьте, что отдается именно ваш вариант.
Какие запреты обычно нужны, а какие лучше не ставить
В robots.txt имеет смысл закрывать только то, что не должно попадать в поиск или не нужно роботам для обхода. Для WordPress это чаще всего административная часть и служебные URL. А вот массовые запреты по шаблону часто вредят больше, чем помогают.
Осторожно относитесь к таким строкам:
Disallow: /wp-content/— слишком грубо, потому что вместе со служебным содержимым можно закрыть темы, стили, скрипты и изображения;Disallow: /wp-includes/— часто лишний запрет, который мешает роботам видеть важные ресурсы;Disallow: /— полностью закрывает сайт от обхода и почти всегда является ошибкой, если вы не делаете временную техническую блокировку;- запреты на папки темы или плагинов без понимания, какие файлы оттуда загружаются на фронтенде.
Если цель — убрать из поиска служебные страницы, лучше закрывать именно их, а не целые каталоги с ресурсами. robots.txt не заменяет настройку мета-тегов или заголовков для отдельных страниц, но и не должен ломать загрузку сайта для роботов.
Что нельзя запрещать, если не хотите проблем с отображением сайта в поиске
Частая ошибка — закрыть в robots.txt всё, что кажется «техническим». На практике поисковик должен видеть CSS и JS, если они нужны для корректного рендеринга страниц. Иначе в отчётах могут появляться проблемы с отображением, а сам робот будет хуже понимать, как выглядит страница для пользователя.
Если тема или плагины грузят стили и скрипты из публичных папок, не закрывайте их целиком. Особенно это касается сайтов на современных темах, где часть интерфейса собирается на фронтенде. То же относится к изображениям: если вы случайно закрыли каталог с медиафайлами, поисковик может хуже обрабатывать страницы с картинками и превью.
Ещё один частый промах — пытаться через robots.txt убрать из поиска страницы, которые уже опубликованы и доступны по ссылкам. Файл robots.txt не удаляет URL из индекса сам по себе. Он только ограничивает обход. Если страница уже попала в поиск, одного запрета может быть недостаточно, и это стоит учитывать до правки файла.
Как проверить, что robots.txt настроен правильно
После правки не ограничивайтесь тем, что файл просто открывается в браузере. Проверьте три вещи:
- robots.txt доступен по адресу
/robots.txtи отдает именно тот текст, который вы сохранили; - в нём нет случайных широких запретов вроде
Disallow: /или закрытия папок с ресурсами; - важные публичные страницы и файлы темы не попали под запрет по шаблону.
Если у вас есть доступ к инструментам для вебмастеров поисковой системы, проверьте файл там же. Это полезно, потому что поисковый робот может показывать не только содержимое robots.txt, но и замечания по синтаксису. Ошибки в строках обычно возникают из-за лишних пробелов, неверных путей или попытки использовать несуществующие директивы.
Для быстрой ручной проверки достаточно открыть несколько адресов сайта в браузере и убедиться, что они не закрыты самим robots.txt. Особенно это касается главной страницы, разделов, записей и файлов статики, которые должны быть доступны роботу для обхода.
Когда лучше не редактировать robots.txt вручную
Если на сайте уже есть сложная структура, много плагинов и нестандартная тема, править robots.txt «по памяти» рискованно. В таких случаях сначала посмотрите, какие URL реально используются на фронтенде, и только потом добавляйте запреты. Это особенно важно, если сайт давно работает и у него уже есть история в поиске: одно неудачное правило может создать лишние проблемы с обходом страниц.
Не стоит вносить изменения на живом сайте без проверки, если вы не можете быстро откатить файл. Перед правкой сохраните текущую версию robots.txt. Это простая страховка: если после изменения что-то пошло не так, вы вернёте прежнее содержимое за минуту.
Если вам нужно не просто закрыть служебные разделы, а ещё и убрать дубли, аккуратно настроить SEO-часть сайта и не трогать лишнее вручную, иногда удобнее использовать специализированный плагин для технической чистки WordPress, например Clearfy Pro: https://wpshop.ru/plugins/clearfy. Но и в этом случае принцип остаётся тем же: сначала понять, что именно закрываете, потом проверить результат.
Если коротко, безопасная настройка robots.txt в WordPress строится на одном правиле: закрывать только то, что действительно служебное, и не трогать публичные ресурсы, без которых сайт нормально не читается поисковиками. Тогда файл помогает навести порядок, а не создаёт новые проблемы.