Эталонный robots.txt для 1С-Битрикс: исключение системных папок и фасетов
Готовый robots.txt для 1С-Битрикс: закрытие системных папок /bitrix/, /auth/, /personal/, умного фильтра /filter/*clear/ и указание sitemap.xml.
Интерактивный генератор под ваши параметры
Параметры подставляются в код в реальном времени
/var/www/bitrix.example.com/public_html/robots.txt
# /var/www/{{domain}}/public_html/robots.txt
User-agent: *
Disallow: /bitrix/
Allow: /bitrix/components/
Allow: /bitrix/templates/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/tools/
# Закрытие служебных разделов
Disallow: /auth/
Disallow: /personal/
Disallow: /search/
Disallow: /*/search/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*backurl=
Disallow: /*BACKURL=
# Исключение дублей умного фильтра
Disallow: /*/filter/*clear*
Disallow: /*/filter/*apply*
Disallow: /*?*ORDER=
Disallow: /*?*order=
# Открытие медиа
Allow: /upload/
Allow: /local/templates/
Sitemap: https://{{domain}}/sitemap.xmlРазбор ключевых директив конфигурации
Техническое обоснование директив и их прямое влияние на процессор (CPU), оперативную память (RAM) и дисковый ввод-вывод (NVMe I/O).
| Директива / Блок | Рекомендуемое значение | Зачем нужно и системное влияние (CPU / RAM / I-O) |
|---|---|---|
Disallow: /bitrix/ |
Закрыть ядро /bitrix/ | Закрывает системные скрипты и админку, предотвращая их попадание в индекс. |
Рекомендуемые системные требования VDS под этот стек
Расчет минимальной и оптимальной конфигурации виртуального сервера для стабильной работы без сбоев.
Оптимальный сайзинг: 4 vCPU, 8 GB RAM, NVMe
Расчетная нагрузка: Портал или магазин на 1С-Битрикс
Timeweb Cloud
4 CPU / 8 GB NVMe
Процессор:
4 vCPU
Память RAM:
8 GB RAM
Накопитель:
80 GB NVMe
Selectel
4 vCPU / 8 GB RAM
Процессор:
4 vCPU
Память RAM:
8 GB RAM
Накопитель:
80 GB NVMe
Beget
Turbo 8 GB
Процессор:
4 vCPU
Память RAM:
8 GB RAM
Накопитель:
80 GB NVMe
Онлайн-утилиты SysKit для проверки этого сервера
Протестируйте корректность применения конфигурации прямо сейчас в один клик.
Частые ошибки при настройке и их решение (FAQ)
Типовые проблемы вебмастеров и сисадминов при внедрении данной конфигурации.
Почему робот Яндекса видит сайт без стилей при закрытой /bitrix/?
Обязательно добавьте строки `Allow: /bitrix/components/` и `Allow: /bitrix/templates/`, иначе стили шаблонов будут заблокированы.
Рекомендуемые смежные конфигурации
Дополнительные рецепты и калькуляторы для полной оптимизации данного серверного стека.