Оптимальный robots.txt для OpenCart 3: чистота индекса каталога и фильтров
Готовый robots.txt для интернет-магазина OpenCart 3: закрытие корзины, оформления, параметров сортировки sort/order/limit, указание sitemap.xml.
Интерактивный генератор под ваши параметры
Параметры подставляются в код в реальном времени
/var/www/shop.example.com/public_html/robots.txt
# /var/www/shop.example.com/public_html/robots.txt
User-agent: *
Disallow: /admin/
Disallow: /system/
Disallow: /catalog/model/
Disallow: /catalog/controller/
Disallow: /catalog/language/
Disallow: /catalog/view/theme/*/template/
# Закрытие служебных страниц магазина
Disallow: /*route=checkout/
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=information/contact
Disallow: /*route=product/search
Disallow: /*route=product/compare
# Закрытие дублей пагинации и сортировки
Disallow: /*sort=
Disallow: /*order=
Disallow: /*limit=
Disallow: /*filter=
Disallow: /*price=
Disallow: /*currency=
Disallow: /*index.php?_route_=
# Открытие медиа и изображений
Allow: /image/
Allow: /image/cache/
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/stylesheet/
Sitemap: https://shop.example.com/index.php?route=extension/feed/google_sitemapРазбор ключевых директив конфигурации
Техническое обоснование директив и их прямое влияние на процессор (CPU), оперативную память (RAM) и дисковый ввод-вывод (NVMe I/O).
| Директива / Блок | Рекомендуемое значение | Зачем нужно и системное влияние (CPU / RAM / I-O) |
|---|---|---|
Disallow: /*sort= |
Запрет параметров сортировки | Исключает дублирование страниц каталога при смене сортировки по цене, названию или популярности. |
User-agent: * |
* (все поисковые боты) | Базовые инструкции индексации для Яндекса, Google, Bing и Mail.ru. |
Clean-param: ref / utm_source |
clean-param для Яндекса | Указывает Яндексу игнорировать UTM-метки и реферальные хвосты, предотвращая раздувание индекса дублями страниц. |
Header set X-Content-Type-Options |
nosniff | Запрещает браузерам выполнять MIME-sniffing, блокируя вредоносные скрипты, замаскированные под изображения. |
Рекомендуемые системные требования VDS под этот стек
Расчет минимальной и оптимальной конфигурации виртуального сервера для стабильной работы без сбоев.
Оптимальный сайзинг: 2 vCPU, 4 GB RAM, 50 GB NVMe
Расчетная нагрузка: Интернет-магазин OpenCart
2 CPU / 4 GB NVMe
Timeweb Cloud
Рекомендуемые ресурсы
2 vCPU /
4 GB RAM /
50 GB NVMe
2 vCPU / 4 GB RAM
Selectel
Рекомендуемые ресурсы
2 vCPU /
4 GB RAM /
50 GB NVMe
Turbo 4 GB
Beget
Рекомендуемые ресурсы
2 vCPU /
4 GB RAM /
50 GB NVMe
Онлайн-утилиты SysKit для проверки этого сервера
Протестируйте корректность применения конфигурации прямо сейчас в один клик.
Частые ошибки при настройке и их решение (FAQ)
Типовые проблемы вебмастеров и сисадминов при внедрении данной конфигурации.
Нужно ли закрывать /image/cache/ в robots.txt?
Ни в коем случае. Папка `/image/cache/` должна быть открыта (`Allow`), чтобы картинки товаров успешно индексировались в Яндекс.Картинках и Google Images.
Как проверить корректность robots.txt в Яндексе и Google?
Используйте инструмент «Анализ robots.txt» в Яндекс.Вебмастере и отчет «Файлы Sitemap» в Google Search Console.
Почему после изменения robots.txt страницы остаются в поиске?
Удаление закрытых страниц из индекса поисковиков занимает от 1 до 3 недель по мере повторного обхода роботами.
Рекомендуемые смежные конфигурации
Дополнительные рецепты и калькуляторы для полной оптимизации данного серверного стека.