Если вам нужно закрыть служебные разделы WordPress, убрать из обхода мусорные URL и при этом не навредить SEO, начинать стоит именно с robots.txt. Это не магическая защита от индексации, а файл с правилами для поисковых роботов: он подсказывает, какие разделы сайта можно обходить, а какие лучше не трогать. Ошибка в этом файле обычно не ломает сайт, но может заметно ухудшить обход страниц поисковиками или, наоборот, оставить открытыми ненужные технические адреса.
В WordPress robots.txt можно настроить двумя способами: через виртуальный файл, который отдает сам движок, или через реальный файл в корне сайта. Для большинства задач достаточно аккуратного файла с несколькими правилами. Главное — понимать, что именно вы закрываете и зачем.
Что robots.txt в WordPress реально делает, а что нет
robots.txt управляет обходом сайта, а не гарантированной индексацией. Если вы запретили роботу заходить в каталог, это не значит, что URL исчезнет из поиска навсегда. Страница может попасть в индекс по внешним ссылкам, если поисковик знает о ней из других источников. Поэтому robots.txt используют для технической оптимизации, а не как единственный способ скрыть контент.
Для WordPress это особенно полезно в трех случаях:
- закрыть служебные разделы, которые не нужны в поиске;
- снизить количество бесполезных запросов роботов к техническим URL;
- не тратить краулинговый бюджет на страницы, которые не дают ценности пользователю.
При этом не стоит закрывать в robots.txt то, что должно индексироваться. Если поисковик не может обойти CSS, JS или важные страницы, он может хуже понять структуру и содержимое сайта.
Какие разделы WordPress обычно закрывают
Набор правил зависит от сайта, но для типовой установки WordPress чаще всего ограничивают доступ к служебным и малополезным адресам. Ниже — то, что обычно имеет смысл закрыть, если у вас нет отдельной причины оставить это открытым.
- /wp-admin/ — административная часть сайта. Для роботов она не нужна, но полностью закрывать ее стоит аккуратно: файлы для входа и служебные запросы могут использоваться системой.
- /wp-includes/ — внутренние файлы WordPress, которые не должны быть в поиске.
- /wp-content/plugins/ и /wp-content/themes/ — технические каталоги, если вы не хотите, чтобы поисковик обходил их как отдельные директории.
- служебные URL с параметрами — например, сортировки, фильтры, внутренние поисковые запросы, если они создают много дублей.
Не нужно закрывать все подряд. Например, изображения из /wp-content/uploads/ часто полезны для поиска, а значит их лучше не блокировать без причины. То же касается страниц, которые реально должны приносить трафик.
Базовый robots.txt для WordPress
Если у вас обычный сайт на WordPress и нет сложной структуры фильтров, можно начать с простого и безопасного варианта. Он закрывает служебные каталоги и оставляет доступ к основному контенту.
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Allow: /wp-admin/admin-ajax.php Sitemap: https://premiumwp.ru/sitemap.xml
Здесь важно две вещи. Во-первых, правило Allow: /wp-admin/admin-ajax.php оставляет доступ к AJAX-обработчику, который часто используется темами и плагинами. Во-вторых, строка Sitemap помогает поисковикам быстрее найти карту сайта. Укажите реальный адрес sitemap, который у вас генерируется плагином SEO или самим сайтом.
Если у вас есть отдельные технические разделы, которые создают мусорные URL, добавляйте их точечно. Не стоит писать в robots.txt длинный список наугад: чем больше правил без понимания структуры сайта, тем выше шанс случайно закрыть нужные страницы.
Как создать или изменить robots.txt в WordPress
В WordPress файл robots.txt может быть виртуальным. Это значит, что даже если физического файла в корне нет, сайт все равно отдает его содержимое. Но на практике удобнее работать с реальным файлом, если хостинг позволяет.
Способ 1. Через файловый менеджер или FTP
Этот вариант подходит, если у вас есть доступ к корню сайта. Создайте файл robots.txt в директории, где лежат wp-config.php и wp-content, и добавьте нужные правила. Если файл уже существует, откройте его и отредактируйте содержимое.
После сохранения проверьте, что файл доступен по адресу https://ваш-домен/robots.txt. Если вместо вашего содержимого отображается что-то другое, значит на сайте может работать виртуальный robots.txt от плагина или тема/сервер отдают свой вариант.
Способ 2. Через SEO-плагин, если он умеет редактировать robots.txt
Некоторые SEO-плагины позволяют править robots.txt из админки. Это удобно, если вы не хотите лезть в FTP и у вас уже есть плагин, который управляет мета-тегами и картой сайта. Но принцип тот же: вы редактируете текст файла, а не включаете абстрактную «опцию SEO».
Если плагин создаёт свой виртуальный robots.txt, убедитесь, что он не конфликтует с реальным файлом в корне. Обычно приоритет у физического файла, но поведение зависит от сервера и конкретной реализации плагина.
Что не стоит запрещать без проверки
Самая частая ошибка — закрыть в robots.txt то, что нужно для нормальной работы сайта или для понимания его структуры поисковиком. Особенно осторожно относитесь к следующим вещам:
- CSS и JS-файлы — если поисковик не видит стили и скрипты, он может хуже интерпретировать страницу;
- изображения — если они дают трафик из поиска, блокировать их невыгодно;
- страницы пагинации и архивы — закрывать их имеет смысл только если вы понимаете, зачем это делаете и чем заменяете их в обходе;
- страницы с параметрами — лучше сначала понять, какие именно параметры создают дубли, а не блокировать все URL с вопросительным знаком.
Если вы закрыли важный раздел и заметили падение обхода или проблемы с отображением в поиске, верните правила назад и проверьте, какие URL действительно должны быть доступны.
Как проверить, что robots.txt настроен правильно
После правки не ограничивайтесь открытием файла в браузере. Проверьте три вещи: доступность файла, корректность правил и отсутствие блокировки нужных разделов.
- Откройте
https://ваш-домен/robots.txtи убедитесь, что там именно ваш текст. - Проверьте, что в файле нет лишних запретов на важные каталоги и ресурсы.
- Если вы используете Google Search Console или Яндекс Вебмастер, проверьте, как поисковик видит robots.txt и нет ли ошибок обхода.
Если у сайта есть карта сайта, убедитесь, что ссылка на нее указана верно. Неправильный адрес sitemap не ломает сайт, но лишает поисковики удобной точки входа для обхода.
Практический подход: что делать на обычном WordPress-сайте
Если нужен рабочий минимум без лишней теории, действуйте так: сначала откройте robots.txt, затем уберите из него все сомнительные запреты, оставьте только служебные каталоги и добавьте ссылку на sitemap. После этого проверьте файл в браузере и в панели для вебмастеров. Этого обычно достаточно для типового сайта на WordPress.
Если у вас интернет-магазин, каталог с фильтрами или много служебных параметров в URL, robots.txt уже не решает задачу полностью. Тогда его используют вместе с настройками канонических страниц, noindex и нормальной структурой ссылок. Но базовый принцип остается тем же: robots.txt должен помогать обходу, а не мешать ему.
На практике хорошо работает правило: закрывайте только то, что точно не должно обходиться поисковиком, и не трогайте то, в чем не уверены. Для WordPress это самый безопасный путь — без лишних блокировок и без риска случайно отрезать сайт от нормального обхода.