Если в WordPress нужно управлять обходом сайта поисковыми роботами, robots.txt — это первое место, куда обычно смотрят. Но именно здесь чаще всего допускают ошибки: закрывают не те разделы, путают запрет обхода с запретом индексации или создают файл, который мешает поисковикам нормально видеть сайт. Для WordPress это особенно заметно, потому что у CMS есть стандартные служебные URL, которые не стоит открывать в выдаче, но и закрывать их нужно аккуратно.
Нормальный robots.txt не «прячет сайт от поиска», а подсказывает роботам, что обходить не нужно. Это важное различие: если страница уже известна поисковику, один только запрет в robots.txt не гарантирует, что она исчезнет из индекса. Поэтому файл нужно настраивать осознанно, а не копировать готовый шаблон без понимания, что он делает.
Что robots.txt реально делает в WordPress
Файл robots.txt лежит в корне сайта и отвечает за правила обхода для поисковых роботов. Когда робот приходит на сайт, он сначала проверяет этот файл и смотрит, какие разделы можно сканировать, а какие лучше пропустить.
Для WordPress это полезно в первую очередь для служебных и технических URL:
- админка и страницы входа;
- служебные скрипты и внутренние файлы;
- поисковые страницы сайта;
- некоторые параметры и дубли, если они создают лишний обход.
Но robots.txt не заменяет другие механизмы. Если нужно убрать страницу из индекса, обычно используют метатег noindex или заголовок X-Robots-Tag. Если закрыть страницу только через robots.txt, робот может перестать её обходить, но URL всё равно может остаться в поиске, если он уже был найден раньше.
Базовый robots.txt для WordPress
Для большинства обычных сайтов на WordPress достаточно простого и безопасного варианта. Он не пытается «оптимизировать всё подряд», а лишь убирает очевидные служебные разделы из обхода.
Вот рабочий минимальный пример:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
Этот вариант обычно подходит, если у сайта нет особых технических требований. Он запрещает обход админки, но оставляет доступ к admin-ajax.php, который часто нужен теме и плагинам на фронтенде.
Если на сайте есть отдельные разделы, которые действительно не должны обходиться роботами, их добавляют точечно. Например, служебные страницы поиска или внутренние фильтры, если они создают много мусорных URL. Но добавлять такие правила нужно только после проверки, что они не ломают важные страницы и не скрывают полезный контент.
Что можно закрывать, а что лучше не трогать
Самая частая ошибка — закрывать в robots.txt всё подряд, ориентируясь на чужой шаблон. В WordPress это особенно опасно, потому что некоторые URL выглядят «техническими», но реально участвуют в работе сайта.
Обычно безопасно закрывать:
/wp-admin/— административную часть сайта;- внутренние служебные страницы, если они не нужны в поиске;
- дублирующиеся технические URL, которые не несут ценности для пользователя.
С осторожностью нужно относиться к:
/wp-content/— внутри него лежат изображения, стили и скрипты, которые могут быть нужны для рендеринга страницы;/wp-includes/— это системные файлы WordPress, но закрывать их целиком без понимания последствий не стоит;- страницам поиска, архивам и пагинации — их закрытие зависит от структуры сайта и задач SEO;
- URL с параметрами — не все параметры вредны, часть из них может использоваться для нормальной работы сайта.
Если закрыть слишком широкий путь, поисковый робот может перестать видеть ресурсы, которые нужны для корректного отображения страницы. Это уже не просто вопрос SEO, а риск ухудшить обработку сайта поисковиком.
Типичные ошибки в robots.txt, которые вредят WordPress-сайту
Есть несколько ошибок, которые встречаются чаще остальных. Они не всегда ломают сайт сразу, но почти всегда создают проблемы с обходом или диагностикой.
Закрывают весь сайт одной строкой
Строка Disallow: / запрещает обход всего сайта. Это не «временная мера на всякий случай», а прямой способ остановить сканирование. Если оставить такой файл после запуска сайта, поисковики перестанут нормально обходить страницы.
Путают robots.txt и noindex
Если задача — убрать страницу из выдачи, robots.txt сам по себе не лучший инструмент. Он ограничивает обход, но не гарантирует удаление из индекса. Для страниц, которые уже известны поисковикам, нужен другой подход: метатег noindex или заголовок X-Robots-Tag, а не только запрет в robots.txt.
Закрывают CSS и JS без необходимости
Иногда в старых шаблонах встречается запрет на целые каталоги со стилями и скриптами. Для современного WordPress это плохая практика: поисковики должны видеть страницу так, как её видит пользователь. Если им закрыть ресурсы, они могут неправильно оценить страницу.
Копируют чужой файл без проверки
У разных сайтов разная структура. То, что подходит интернет-магазину, не обязательно подходит блогу или корпоративному сайту. Если взять чужой robots.txt, можно случайно закрыть важные разделы, которые у вас работают иначе.
Как правильно внести robots.txt в WordPress
В WordPress есть два практических способа работать с robots.txt: через физический файл в корне сайта или через виртуальный robots.txt, который WordPress отдаёт автоматически, если отдельного файла нет.
Если у вас есть доступ к хостингу или FTP, надёжнее создать или отредактировать именно файл robots.txt в корне сайта. Так проще контролировать содержимое и не зависеть от поведения отдельных плагинов.
Порядок действий такой:
- Откройте корень сайта через FTP, файловый менеджер хостинга или SSH.
- Проверьте, есть ли уже файл
robots.txt. - Если файл есть, сделайте резервную копию перед изменением.
- Внесите только нужные правила, без лишних директив.
- Сохраните файл и проверьте его в браузере по адресу
https://ваш-домен/robots.txt.
Если файла нет, WordPress может отдавать виртуальный вариант. Но для реальной настройки лучше иметь свой файл, чтобы правила не зависели от темы, плагинов и случайных изменений в админке.
Как проверить, что файл работает правильно
После настройки важно не ограничиться тем, что файл «открылся в браузере». Нужно проверить, что он действительно содержит нужные правила и не блокирует лишнее.
Сначала откройте /robots.txt в браузере и убедитесь, что там именно тот текст, который вы задали. Затем проверьте несколько URL из разных групп:
- админка должна быть закрыта для обхода;
- публичные страницы сайта должны оставаться доступными;
- ресурсы, нужные для отображения страницы, не должны быть заблокированы без причины.
Если вы используете Google Search Console или аналогичный инструмент для вебмастеров, проверьте файл там же. Это полезно не только для поиска синтаксических ошибок, но и для понимания, как робот интерпретирует правила. Если в файле есть конфликтующие директивы, сервис обычно показывает, что именно он видит.
Отдельно стоит проверить, не мешает ли robots.txt важным страницам после обновления темы или плагинов. В WordPress структура URL может меняться, и то, что было безопасно год назад, после обновления уже не всегда подходит.
Когда robots.txt не решает задачу
Есть ситуации, в которых robots.txt использовать можно, но он не даст нужного результата сам по себе. Например, если страница уже в индексе и вы хотите убрать её из поиска, одного запрета на обход недостаточно. Робот может перестать заходить на страницу, но URL останется известным поисковой системе.
Также robots.txt не подходит для защиты приватного контента. Если страница должна быть недоступна пользователю, её нужно закрывать на уровне авторизации, прав доступа или сервера, а не надеяться на правила для роботов.
Поэтому к robots.txt стоит относиться как к инструменту управления обходом, а не как к универсальному способу скрыть всё лишнее. В WordPress это особенно важно: здесь много служебных URL, но далеко не каждый из них нужно запрещать.
Если нужен аккуратный контроль технических страниц и дублей без ручной возни с файлами, иногда удобнее использовать SEO-плагины с настройками для служебных URL. Но даже в этом случае сначала нужно понимать логику robots.txt, иначе плагин просто автоматизирует ту же ошибку.
Практический ориентир простой: в robots.txt оставляйте только то, что действительно не должно обходиться роботами, не закрывайте ресурсы, нужные для рендеринга, и не пытайтесь этим файлом решить задачи, для которых нужен noindex или ограничение доступа. Тогда файл будет помогать SEO, а не создавать новые проблемы.