Идеальный robots.txt для WordPress: закрытие дублей, индексация CSS/JS и Sitemap
Готовый шаблон robots.txt для WordPress под Яндекс и Google: закрытие админки /wp-admin/, страниц пагинации, replytocom, открытие медиа и Sitemap.
Интерактивный генератор под ваши параметры
Параметры подставляются в код в реальном времени
/var/www/example.com/public_html/robots.txt
# /var/www/example.com/public_html/robots.txt
# Идеальный robots.txt для WordPress под Яндекс и Google (SysKit.ru)
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Allow: /wp-includes/js/
Allow: /wp-includes/css/
Allow: /wp-includes/images/
# Закрытие системных страниц и дублей
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /*/feed/
Disallow: /*/trackback/
Disallow: /*?replytocom=
Disallow: /*?s=
Disallow: /search/
Disallow: /author/
Disallow: /cgi-bin/
# Открытие статических ресурсов темы и плагинов
Allow: /wp-content/uploads/
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.css
Allow: /wp-content/plugins/*.js
# Указание карты сайта
Sitemap: https://example.com/sitemap_index.xmlРазбор ключевых директив конфигурации
Техническое обоснование директив и их прямое влияние на процессор (CPU), оперативную память (RAM) и дисковый ввод-вывод (NVMe I/O).
| Директива / Блок | Рекомендуемое значение | Зачем нужно и системное влияние (CPU / RAM / I-O) |
|---|---|---|
Allow: /wp-admin/admin-ajax.php |
Разрешить admin-ajax.php | Критически важно для рендеринга динамического контента ботами Google и Яндекс при сканировании страницы. |
Disallow: /*?replytocom= |
Запретить replytocom | Предотвращает появление сотен тысяч дублей страниц комментариев в поисковой выдаче. |
User-agent: * |
* (все поисковые боты) | Базовые инструкции индексации для Яндекса, Google, Bing и Mail.ru. |
Clean-param: ref / utm_source |
clean-param для Яндекса | Указывает Яндексу игнорировать UTM-метки и реферальные хвосты, предотвращая раздувание индекса дублями страниц. |
Рекомендуемые системные требования VDS под этот стек
Расчет минимальной и оптимальной конфигурации виртуального сервера для стабильной работы без сбоев.
Оптимальный сайзинг: 1-2 vCPU, 2-4 GB RAM
Расчетная нагрузка: Любой сайт WordPress
1 CPU / 1 GB NVMe
Timeweb Cloud
Рекомендуемые ресурсы
1-2 vCPU /
2-4 GB RAM /
40 GB NVMe
1 vCPU / 1 GB RAM
Selectel
Рекомендуемые ресурсы
1-2 vCPU /
2-4 GB RAM /
40 GB NVMe
Старт 1 GB
Beget
Рекомендуемые ресурсы
1-2 vCPU /
2-4 GB RAM /
40 GB NVMe
Онлайн-утилиты SysKit для проверки этого сервера
Протестируйте корректность применения конфигурации прямо сейчас в один клик.
Частые ошибки при настройке и их решение (FAQ)
Типовые проблемы вебмастеров и сисадминов при внедрении данной конфигурации.
Почему Яндекс.Вебмастер ругается на редирект в robots.txt?
В Вебмастере сайт должен быть добавлен по протоколу HTTPS. Файл robots.txt по HTTPS должен отдавать прямой ответ 200 OK.
Как проверить корректность robots.txt в Яндексе и Google?
Используйте инструмент «Анализ robots.txt» в Яндекс.Вебмастере и отчет «Файлы Sitemap» в Google Search Console.
Почему после изменения robots.txt страницы остаются в поиске?
Удаление закрытых страниц из индекса поисковиков занимает от 1 до 3 недель по мере повторного обхода роботами.
Рекомендуемые смежные конфигурации
Дополнительные рецепты и калькуляторы для полной оптимизации данного серверного стека.