.htaccess: Блокировка плохих ботов, AI-краулеров (GPTBot, ClaudeBot) и парсеров
Готовый список правил .htaccess для блокировки агрессивных парсеров, AI-ботов (GPTBot, CCBot, ClaudeBot), спам-сканеров и эксплойт-краулеров (код 403).
Интерактивный генератор под ваши параметры
Параметры подставляются в код в реальном времени
/var/www/example.com/public_html/.htaccess
# /var/www/{{domain}}/public_html/.htaccess
# Блокировка агрессивных парсеров, спам-краулеров и сбора данных ИИ (AI Scrapers)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|ChatGPT-User|CCBot|ClaudeBot|anthropic-ai|Bytespider|SemrushBot|AhrefsBot|DotBot|MJ12bot|MegaIndex|BLEXBot|DataForSeoBot) [NC]
RewriteRule ^.*$ - [F,L]
# Блокировка сканеров уязвимостей и утилит авто-взлома
RewriteCond %{HTTP_USER_AGENT} (sqlmap|nikto|w3af|acunetix|masscan|zgrab|nmap|morfeus|dirbuster) [NC]
RewriteRule ^.*$ - [F,L]Разбор ключевых директив конфигурации
Техническое обоснование директив и их прямое влияние на процессор (CPU), оперативную память (RAM) и дисковый ввод-вывод (NVMe I/O).
| Директива / Блок | Рекомендуемое значение | Зачем нужно и системное влияние (CPU / RAM / I-O) |
|---|---|---|
RewriteRule ^.*$ - [F,L] |
HTTP 403 Forbidden | Немедленно обрывает соединение с кодом 403, экономя до 80% CPU сервера от паразитного сканирования. |
Рекомендуемые системные требования VDS под этот стек
Расчет минимальной и оптимальной конфигурации виртуального сервера для стабильной работы без сбоев.
Оптимальный сайзинг: 1 vCPU, 1 GB RAM
Расчетная нагрузка: Любой веб-сайт
Timeweb Cloud
1 CPU / 1 GB NVMe
Процессор:
1 vCPU
Память RAM:
1 GB RAM
Накопитель:
25 GB NVMe
Selectel
1 vCPU / 1 GB RAM
Процессор:
1 vCPU
Память RAM:
1 GB RAM
Накопитель:
25 GB NVMe
Beget
Старт 1 GB
Процессор:
1 vCPU
Память RAM:
1 GB RAM
Накопитель:
25 GB NVMe
Онлайн-утилиты SysKit для проверки этого сервера
Протестируйте корректность применения конфигурации прямо сейчас в один клик.
Частые ошибки при настройке и их решение (FAQ)
Типовые проблемы вебмастеров и сисадминов при внедрении данной конфигурации.
Не заблокирует ли это Яндекс и Google?
Нет, поисковые боты Яндекс (YandexBot) и Google (Googlebot) не входят в список и продолжат индексировать ресурс в штатном режиме.
Рекомендуемые смежные конфигурации
Дополнительные рецепты и калькуляторы для полной оптимизации данного серверного стека.