Эталонный robots.txt для 1С-Битрикс: исключение системных папок и фасетов
Готовый robots.txt для 1С-Битрикс: закрытие системных папок /bitrix/, /auth/, /personal/, умного фильтра /filter/*clear/ и указание sitemap.xml.
Интерактивный генератор под ваши параметры
Параметры подставляются в код в реальном времени
/var/www/bitrix.example.com/public_html/robots.txt
# /var/www/bitrix.example.com/public_html/robots.txt
User-agent: *
Disallow: /bitrix/
Allow: /bitrix/components/
Allow: /bitrix/templates/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/tools/
# Закрытие служебных разделов
Disallow: /auth/
Disallow: /personal/
Disallow: /search/
Disallow: /*/search/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*backurl=
Disallow: /*BACKURL=
# Исключение дублей умного фильтра
Disallow: /*/filter/*clear*
Disallow: /*/filter/*apply*
Disallow: /*?*ORDER=
Disallow: /*?*order=
# Открытие медиа
Allow: /upload/
Allow: /local/templates/
Sitemap: https://bitrix.example.com/sitemap.xmlРазбор ключевых директив конфигурации
Техническое обоснование директив и их прямое влияние на процессор (CPU), оперативную память (RAM) и дисковый ввод-вывод (NVMe I/O).
| Директива / Блок | Рекомендуемое значение | Зачем нужно и системное влияние (CPU / RAM / I-O) |
|---|---|---|
Disallow: /bitrix/ |
Закрыть ядро /bitrix/ | Закрывает системные скрипты и админку, предотвращая их попадание в индекс. |
User-agent: * |
* (все поисковые боты) | Базовые инструкции индексации для Яндекса, Google, Bing и Mail.ru. |
Clean-param: ref / utm_source |
clean-param для Яндекса | Указывает Яндексу игнорировать UTM-метки и реферальные хвосты, предотвращая раздувание индекса дублями страниц. |
Header set X-Content-Type-Options |
nosniff | Запрещает браузерам выполнять MIME-sniffing, блокируя вредоносные скрипты, замаскированные под изображения. |
Рекомендуемые системные требования VDS под этот стек
Расчет минимальной и оптимальной конфигурации виртуального сервера для стабильной работы без сбоев.
Оптимальный сайзинг: 4 vCPU, 8 GB RAM, NVMe
Расчетная нагрузка: Портал или магазин на 1С-Битрикс
4 CPU / 8 GB NVMe
Timeweb Cloud
Рекомендуемые ресурсы
4 vCPU /
8 GB RAM /
80 GB NVMe
4 vCPU / 8 GB RAM
Selectel
Рекомендуемые ресурсы
4 vCPU /
8 GB RAM /
80 GB NVMe
Turbo 8 GB
Beget
Рекомендуемые ресурсы
4 vCPU /
8 GB RAM /
80 GB NVMe
Онлайн-утилиты SysKit для проверки этого сервера
Протестируйте корректность применения конфигурации прямо сейчас в один клик.
Частые ошибки при настройке и их решение (FAQ)
Типовые проблемы вебмастеров и сисадминов при внедрении данной конфигурации.
Почему робот Яндекса видит сайт без стилей при закрытой /bitrix/?
Обязательно добавьте строки `Allow: /bitrix/components/` и `Allow: /bitrix/templates/`, иначе стили шаблонов будут заблокированы.
Как проверить корректность robots.txt в Яндексе и Google?
Используйте инструмент «Анализ robots.txt» в Яндекс.Вебмастере и отчет «Файлы Sitemap» в Google Search Console.
Почему после изменения robots.txt страницы остаются в поиске?
Удаление закрытых страниц из индекса поисковиков занимает от 1 до 3 недель по мере повторного обхода роботами.
Рекомендуемые смежные конфигурации
Дополнительные рецепты и калькуляторы для полной оптимизации данного серверного стека.