ИИ и автоматизация 16 мин чтения 2026-11-15

Автономный браузерный кластер Browserless на VDS в Docker Compose: запуск Headless Chrome для веб-парсинга, ИИ-агентов и генерации PDF без блокировок

Практическое руководство по развертыванию масштабируемого браузерного кластера Browserless v2.63.1 на VDS в Docker Compose. Настройка shm_size для защиты от падений Chromium, безопасный Nginx с WebSocket (WSS), REST API генерации PDF и скриншотов, подключение Puppeteer и Python RAG-агентов.

Команда SysKit.ru Проверено инженерами SysKit.ru

Современный веб кардинально изменился: большинство интернет-магазинов, корпоративных порталов, финансовых платформ и личных кабинетов строятся на базе тяжелых клиентских фреймворков (React, Next.js, Vue, Angular). Для таких сайтов традиционные библиотеки парсинга (cURL, Python Requests, Beautiful Soup) оказываются бессильны: сервер отдает пустой HTML-каркас, а реальные данные, цены, графики и таблицы подгружаются асинхронно через JavaScript и WebSockets. В результате разработчики сталкиваются с необходимостью рендеринга страниц через полноценные браузерные движки.

Попытки запускать Chromium или Firefox локально внутри каждого микросервиса приводят к быстрому исчерпанию оперативной памяти и появлению сотен «зомби-процессов», а аренда коммерческих облачных браузерных ферм (Browserless.io, ScrapingBee, BrowserCat) обходится в \$50–150 ежемесячно, создает сетевые задержки и передает авторизационные куки и конфиденциальные данные клиентов на зарубежные серверы вразрез с требованиями Федерального закона № 152-ФЗ.

Browserless — ведущий open-source инструмент корпоративного уровня для управления кластером Headless Chromium в изолированном Docker-контейнере. В данном практическом руководстве мы фиксируем проверенную стабильную сборку v2.63.1 (официальный образ ghcr.io/browserless/chromium весом около 4,3 ГБ в распакованном виде). Сервис предоставляет единый высокопроизводительный шлюз: к нему можно подключаться по стандартному протоколу Chrome DevTools (CDP) через библиотеки Puppeteer, Playwright и нативные CDP-клиенты (поддержка устаревшего Selenium/WebDriver была исключена во второй ветке в пользу скорости и легкости нативного протокола), либо вызывать готовые REST API эндпоинты для мгновенного снятия скриншотов (/screenshot), экспорта отчетов в PDF (/pdf) и получения отрендеренного DOM-дерева (/content). В этом руководстве мы разберем развертывание стабильного релиза Browserless v2.63.1 на VDS в Docker Compose, настроим безопасный доступ через Nginx с WSS-проксированием и токенами, решим критическую проблему нехватки памяти /dev/shm и интегрируем браузерный кластер с Python RAG-агентами.

Раздел 1. Архитектура Browserless: CDP, пул процессов и сравнение с облачными SaaS

Browserless кардинально отличается от наивного запуска скриптов вида puppeteer.launch() внутри фонового воркера. Под капотом сервиса работает интеллектуальный менеджер процессов на базе Node.js, который управляет жизненным циклом экземпляров Chromium (исходный код распространяется по лицензии SSPL-1.0 для самостоятельного хостинга, а для закрытых коммерческих платформ доступна Enterprise-лицензия):

  • Протокол Chrome DevTools (CDP) поверх WebSocket: Клиентское приложение не запускает тяжелый бинарник браузера у себя, а открывает легкое WebSocket-соединение к удаленному серверу VDS. Браузерные команды (клики, ввод текста, эмуляция скролла, перехват сетевых запросов) передаются в виде компактных JSON-RPC пакетов.
  • Оптимизированный менеджер воркеров v2 (On-Demand Isolation): Во 2-й ветке Browserless отказался от устаревших механизмов v1 в пользу мгновенного динамического запуска изолированных браузерных контекстов (BrowserContext). Каждый сеанс работает в отдельной чистой песочнице с собственным профилем, кэшем и куками, которые мгновенно и без следа уничтожаются сразу после завершения сессии.
  • Защита от деградации памяти и авторотация: Чтобы Chromium не накапливал утечки памяти при тысячах последовательных запросов, менеджер процессов автоматически пересоздает базовые воркеры после выполнения заданного количества задач или по таймауту, поддерживая потребление RAM на стабильном уровне.
  • Очереди и лимиты конкурентности (Concurrency Limits): Администратор жестко задает максимальное количество одновременно активных браузерных сессий (CONCURRENT). При превышении лимита входящие сессии помещаются в защитную очередь (переменная QUEUED в Browserless v2), предотвращая исчерпание ресурсов процессора и оперативной памяти VDS при пиковых всплесках трафика.
Характеристика / Критерий Локальный Puppeteer в коде Облачный SaaS (Browserless.io) Browserless v2 на VDS
Потребление ресурсов хоста Хаотичные всплески до 100% RAM/CPU 0 (выполняется в облаке) Строго лимитировано через cgroups и Docker
Стоимость владения Требует мощных серверов разработки от \$50–150/мес за лимитированные минуты 0 ₽ за софт (VDS от 450 ₽/мес)
Задержка сети (Latency) Локально (0 мс) 200–500 мс (зарубежный шлюз при трансграничных запросах) 5–30 мс (при размещении в ЦОД РФ для локальных клиентов)
Конфиденциальность и 152-ФЗ Локально Данные страниц уходят третьим лицам 100% On-Premise (контур вашей инфраструктуры)
Защита от зомби-процессов Требует сложного ручного менеджмента Управляется SaaS-провайдером Встроенный автоматический супервизор процессов
Готовые REST-эндпоинты Нужно писать собственный HTTP-сервер Доступны Встроены из коробки (/pdf, /screenshot, /content)

Раздел 2. Системные требования к VDS и подготовка хостовой ОС

Headless Chromium — ресурсоемкое приложение. При рендеринге сложных веб-страниц с тысячами DOM-элементов и анимациями браузер активно использует оперативную память и дисковый кэш. Особое внимание необходимо уделить двум системным факторам: разделяемой памяти /dev/shm и наличию файла подкачки (Swap).

Конфигурация VDS Ресурсы сервера Рекомендуемая нагрузка
Базовый тариф 2 vCPU / 2 ГБ RAM / 30 ГБ NVMe До 2–3 параллельных браузерных сессий (генерация PDF, парсинг по расписанию)
Рабочий тариф (рекомендуемый) 2–4 vCPU / 4 ГБ RAM / 50 ГБ NVMe До 5–8 параллельных сессий в реальном времени для RAG-агентов и парсеров
Высоконагруженный кластер 4–8 vCPU / 8–16 ГБ RAM / 80 ГБ NVMe 15–30 параллельных потоков для массового скрапинга и веб-автоматизации

Подключитесь к серверу по SSH под пользователем с привилегиями sudo. Обновите списки пакетов и установите необходимые системные утилиты:

sudo apt update && sudo apt upgrade -y
# Устанавливаем базовые пакеты, веб-сервер Nginx, certbot и утилиту тестирования сокетов
sudo apt install -y curl wget git ufw ca-certificates gnupg nginx certbot python3-certbot-nginx

Для предотвращения внезапного срабатывания OOM Killer при открытии тяжелых многостраничных документов создадим и активируем файл подкачки объемом 2 ГБ (если он не был настроен хостинг-провайдером по умолчанию):

# Проверяем текущее состояние swap
free -h

# Если swap отсутствует, создаем файл подкачки на 2 ГБ
if [ $(swapon --show | wc -l) -eq 0 ]; then
    sudo fallocate -l 2G /swapfile
    sudo chmod 600 /swapfile
    sudo mkswap /swapfile
    sudo swapon /swapfile
    echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab
    echo "vm.swappiness=10" | sudo tee -a /etc/sysctl.d/99-sysctl.conf
    sudo sysctl -p /etc/sysctl.d/99-sysctl.conf
fi

Настроим межсетевой экран UFW. Критически важно: порт Browserless (3000) не должен быть открыт в публичный интернет без авторизации и шифрования. Открываем только стандартные порты SSH, HTTP и HTTPS:

sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow 22/tcp comment 'SSH'
sudo ufw allow 80/tcp comment 'HTTP Certbot'
sudo ufw allow 443/tcp comment 'HTTPS Nginx'
sudo ufw --force enable
sudo ufw status verbose

Контейнер Browserless будет слушать порт исключительно на локальном интерфейсе loopback (127.0.0.1:3000), а доступ к нему будет маршрутизироваться через защищенный Nginx Reverse Proxy.

Раздел 3. Развертывание Browserless v2.63.1 в Docker Compose

Для гарантированной стабильности и воспроизводимости развертывания используем официальный оптимизированный образ ghcr.io/browserless/chromium:v2.63.1. Обратите внимание на две критически важные инженерные детали:

  1. Разделяемая память shm_size: 2gb: По умолчанию Docker выделяет для контейнера виртуальную память /dev/shm размером всего 64 МБ. Для Chromium это фатально: при открытии тяжелых сайтов, рендеринге канвасов или захвате скриншотов браузер мгновенно исчерпывает эту память и аварийно завершается с ошибками SIGBUS или Target closed. Директива shm_size: 2gb решает эту проблему в корне.
  2. Изоляция сетевого сокета: Порт 3000 привязывается строго к петлевому интерфейсу 127.0.0.1:3000:3000. Это исключает неавторизованный доступ к браузерному движку извне в обход файрвола хоста.

Создадим рабочую директорию проекта и файл переменных окружения /opt/browserless/.env:

sudo mkdir -p /opt/browserless
sudo chown -R $USER:$USER /opt/browserless
cd /opt/browserless

Сгенерируйте надежный мастер-токен авторизации (от 32 символов) с помощью нашего бесплатного инструмента генератор паролей SysKit и сохраните его в файл окружения:

cat <<'EOF' > /opt/browserless/.env
# Секретный мастер-токен доступа к API и WebSocket Browserless
BROWSERLESS_TOKEN="СВЕРХНАДЕЖНЫЙ_СЕКРЕТНЫЙ_ТОКЕН_ИЗ_PASSWORD_GENERATOR"
# Секретный ключ симметричного шифрования бэкапов (OpenSSL AES-256-CBC)
BACKUP_SECRET_KEY="СВЕРХНАДЕЖНЫЙ_КЛЮЧ_ШИФРОВАНИЯ_БЭКАПОВ_ИЗ_PASSWORD_GENERATOR"
# Часовой пояс сервера
TZ="Europe/Moscow"
EOF

chmod 600 /opt/browserless/.env

Подготовим файл развертывания /opt/browserless/docker-compose.yml:

services:
  browserless:
    image: ghcr.io/browserless/chromium:v2.63.1
    container_name: browserless
    restart: unless-stopped
    env_file:
      - .env
    ports:
      # Защита портов: доступ только через локальный Nginx
      - "127.0.0.1:3000:3000"
    shm_size: 2gb
    environment:
      - TOKEN=${BROWSERLESS_TOKEN}
      # Максимальное количество одновременно активных браузерных сессий
      - CONCURRENT=5
      # Максимальная длительность выполнения сессии Chromium (execution timeout в миллисекундах: 60 сек)
      - TIMEOUT=60000
      # В Browserless v2 очередь входящих задач задается параметром QUEUED
      - QUEUED=10
      - TZ=${TZ}
    mem_limit: 3072m
    cpus: "2.0"
    healthcheck:
      # Проверка через встроенный рантайм Node.js исключает зависимость от наличия curl в контейнере
      test: ["CMD", "node", "-e", "require('http').get('http://127.0.0.1:3000/docs', (r) => process.exit(r.statusCode === 200 ? 0 : 1))"]
      interval: 30s
      timeout: 5s
      retries: 3
      start_period: 15s
    logging:
      driver: "json-file"
      options:
        max-size: "10m"
        max-file: "3"

Запустим контейнер и проверим логи инициализации Chromium:

docker compose up -d
docker compose ps
docker compose logs -f --tail=30

Протестируем доступность локального HTTP-сервера и документации API Browserless:

# Проверка доступности API-эндпоинтов
curl -I http://127.0.0.1:3000/docs
# Ожидаемый ответ: HTTP/1.1 200 OK

Раздел 4. Защита шлюза: Nginx, Let's Encrypt и WebSocket (WSS)

Для безопасного подключения внешних приложений, Telegram-ботов и микросервисов развернем обратный прокси Nginx с шифрованием TLSv1.3, автопродлением сертификата Let's Encrypt и полноценной поддержкой протокола WebSocket (WSS).

Сначала выпустим бесплатный SSL-сертификат для поддомена browser.yourdomain.ru (замените на ваш реальный домен, направленный на IP-адрес VDS) с автоматическим редиректом на HTTPS:

# Выпуск SSL-сертификата Let's Encrypt с флагом --redirect
sudo certbot --nginx -d browser.yourdomain.ru --redirect --non-interactive --agree-tos -m admin@yourdomain.ru

Защита токена от утечки в access-логи Nginx: Передача токена в строке запроса (?token=...) удобна при тестировании через браузер, однако приводит к сохранению секретного ключа в стандартных журналах доступа веб-сервера. В боевом окружении рекомендуем передавать токен в HTTP-заголовке Authorization: Bearer <TOKEN>, либо настроить маскирование чувствительных параметров в директиве log_format Nginx.

Создадим конфигурационный файл виртуального хоста Nginx /etc/nginx/sites-available/browserless.conf:

upstream browserless_backend {
    server 127.0.0.1:3000;
    keepalive 32;
}

server {
    listen 80;
    listen [::]:80;
    server_name browser.yourdomain.ru;

    # Автоматический редирект HTTP на защищенный HTTPS
    return 301 https://$host$request_uri;
}

server {
    # Стандартный синтаксис для Nginx версий до 1.25 (Ubuntu 22.04 LTS, Ubuntu 24.04 LTS, Debian 12)
    listen 443 ssl http2;
    listen [::]:443 ssl http2;
    # Для Nginx 1.25.1+ из официального mainline-репозитория: listen 443 ssl; http2 on;

    server_name browser.yourdomain.ru;

    ssl_certificate /etc/letsencrypt/live/browser.yourdomain.ru/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/browser.yourdomain.ru/privkey.pem;

    ssl_protocols TLSv1.2 TLSv1.3;
    ssl_ciphers HIGH:!aNULL:!MD5;
    ssl_prefer_server_ciphers on;
    ssl_session_cache shared:SSL:10m;
    ssl_session_timeout 1d;

    # Современные заголовки безопасности
    add_header X-Frame-Options "DENY" always;
    add_header X-Content-Type-Options "nosniff" always;
    add_header Content-Security-Policy "default-src 'none'; frame-ancestors 'none';" always;
    add_header Referrer-Policy "strict-origin-when-cross-origin" always;

    # Максимальный размер тела запроса (HTML-шаблоны для PDF)
    client_max_body_size 20M;

    location / {
        proxy_pass http://browserless_backend;
        proxy_http_version 1.1;

        # Критически важно: поддержка постоянных соединений WebSocket (WSS) для CDP-сессий
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";

        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        # Увеличенные таймауты под длительные сессии парсинга и генерации многостраничных PDF
        # Значение 300s намеренно превышает серверный лимит сессии TIMEOUT=60000 (60s), исключая обрыв соединения со стороны Nginx
        proxy_read_timeout 300s;
        proxy_connect_timeout 15s;
        proxy_send_timeout 300s;

        # Отключение буферизации для потоковой передачи снимков экрана
        proxy_buffering off;
    }
}

Активируем виртуальный хост, проверим синтаксис конфигурации Nginx и перезагрузим веб-сервер:

sudo ln -s /etc/nginx/sites-available/browserless.conf /etc/nginx/sites-enabled/
sudo nginx -t
sudo systemctl reload nginx

Проверить валидность цепочки сертификатов и корректность редиректов можно в один клик через наши инструменты онлайн-проверки SSL-сертификата и анализатора редиректов SysKit.

Раздел 5. Критерии выбора VDS под браузерный инференс в РФ

Запуск реального браузерного движка Chromium в headless-режиме предъявляет специфические требования к виртуальному серверу, отличные от обычных микросервисов или баз данных:

  • Объем оперативной памяти (RAM) и квота /dev/shm: Каждый открытый сеанс браузера с тяжелой страницей потребляет от 300 до 500 МБ RAM на тяжелых SPA-страницах с большим количеством вкладок и скриптов. Для работы пула из 5 конкурентных сессий (CONCURRENT=5) с учетом фоновых процессов ОС требуется сервер минимум с 3–4 ГБ оперативной памяти. Попытка запустить браузерную ферму на VDS с 1 ГБ RAM приведет к непрерывной пробуксовке swap и падению вкладок по таймауту.
  • Однопоточная производительность ядер (Single-Core CPU): Парсинг сложного JavaScript, вычисление CSS-стилей и рендеринг DOM-дерева выполняются в основном потоке браузера (Main Thread). Процессоры с высокой тактовой частотой и современными архитектурами (AMD EPYC, Intel Xeon Gold) позволяют существенно быстрее завершать обработку сложных клиентских скриптов по сравнению со слабыми низкочастотными виртуальными ядрами.
  • Скорость дискового ввода-вывода (NVMe IOPS) и размер накопителя: Браузер непрерывно кэширует шрифты, скрипты, изображения и временные файлы профилей. Кроме того, распакованный образ ghcr.io/browserless/chromium занимает около 4,3 ГБ. Рекомендуется выделять не менее 25–30 ГБ пространства на быстрых Enterprise NVMe-накопителях, чтобы исключить задержки дискового ввода-вывода (iowait) и дефицит свободного места при активной ротации кэша.
  • Локализация данных и требования 152-ФЗ: При автоматизации парсинга личных кабинетов, формировании бухгалтерских актов, договоров и платежных квитанций браузер обрабатывает конфиденциальные персональные данные граждан РФ. Размещение кластера в российских дата-центрах уровня Tier III гарантирует соблюдение требований законодательства и исключает риски внезапных сетевых блокировок со стороны зарубежных облачных шлюзов.

Инженерная рекомендация редакции SysKit: Для бесперебойной работы Browserless рекомендуем развертывать кластер на инфраструктуре проверенных российских облачных провайдеров:

  • Timeweb Cloud: Высокоскоростные процессоры с частотой до 3.3–3.7 ГГц, быстрые NVMe-диски, дата-центры в Москве и Санкт-Петербурге, удобная почасовая тарификация, оплата картами РФ / СБП и совместимое S3-хранилище для архивации документов.
  • Selectel: Корпоративная инфраструктура высшей категории надежности (Tier III), строгая аттестация по 152-ФЗ (УЗ-1), выделенные гарантированные vCPU без оверселлинга и детальные соглашения об уровне обслуживания (SLA).
  • Beget: Надежные серверы на процессорах AMD EPYC, удобный интерфейс, высокая скорость дисковых операций и моментальные автоматические снапшоты для безопасного обновления окружения.

Примечание: В рамках открытой инженерной этики редакция сообщает, что ссылки на облачные платформы являются партнерскими и помогают поддерживать бесплатную работу наших сервисов без влияния на объективность экспертных тестов.

Раздел 6. Практическое использование: генерация PDF и скриншотов через cURL и Puppeteer

Browserless предоставляет мощные встроенные REST-эндпоинты, которые позволяют генерировать документы и захватывать изображения без написания сложного кода управления браузером.

1. Мгновенная генерация PDF из HTML-шаблона в один запрос cURL

Для генерации счетов-фактур, актов и отчетов отправьте POST-запрос на эндпоинт /pdf с телом документа и параметрами верстки (формат A4, поля, колонтитулы):

curl -X POST "https://browser.yourdomain.ru/pdf?token=ВАШ_ТОКЕН" \
  -H "Content-Type: application/json" \
  -d '{
    "html": "<html><body style=\"font-family: Arial; padding: 40px;\"><h1 style=\"color: #1a56db;\">Акт выполненных работ № 1048</h1><p>Услуги предоставлены в полном объеме в соответствии с договором.</p><hr><p><strong>Итого к оплате:</strong> 45 000 руб.</p></body></html>",
    "options": {
      "format": "A4",
      "printBackground": true,
      "margin": {
        "top": "20mm",
        "bottom": "20mm",
        "left": "15mm",
        "right": "15mm"
      }
    }
  }' \
  --output invoice_1048.pdf

# Проверяем созданный PDF-файл
ls -lh invoice_1048.pdf
file invoice_1048.pdf

2. Создание полностраничного скриншота веб-сайта

Для автоматического мониторинга верстки или формирования превью отправьте запрос на эндпоинт /screenshot с параметром fullPage: true:

curl -X POST "https://browser.yourdomain.ru/screenshot?token=ВАШ_ТОКЕН" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://syskit.ru",
    "options": {
      "type": "webp",
      "quality": 85,
      "fullPage": true
    },
    "gotoOptions": {
      "waitUntil": "networkidle2"
    }
  }' \
  --output syskit_homepage.webp

3. Прямое подключение Node.js Puppeteer к удаленному кластеру

В вашем Node.js приложении используйте официальный эндпоинт Chromium для CDP-подключения (/chromium?token=...):

const puppeteer = require('puppeteer-core');

async function run() {
  const browser = await puppeteer.connect({
    // В Browserless v2 подключение к движку Chromium выполняется по пути /chromium
    browserWSEndpoint: 'wss://browser.yourdomain.ru/chromium?token=ВАШ_ТОКЕН',
  });

  const page = await browser.newPage();
  await page.setViewport({ width: 1920, height: 1080 });
  await page.goto('https://syskit.ru', { waitUntil: 'networkidle2' });

  const title = await page.title();
  console.log(`Заголовок страницы, отрендеренной в VDS-кластере: ${title}`);

  // Обязательно закрываем браузер для освобождения сессии в пуле Browserless
  await browser.close();
}

run().catch(console.error);

Раздел 7. Интеграция с Python RAG-агентами и извлечение динамического контента

При построении систем генерации с расширенным поиском (RAG) ИИ-агенты должны извлекать текстовый контент с сайтов, защищенных динамической подгрузкой через клиентский JS. В Browserless v2 подключение библиотеки playwright выполняется по специальному каноническому пути /chromium/playwright (с поддержкой нативного серверного протокола Playwright) либо по пути /chromium через CDP:

import asyncio
from playwright.async_api import async_playwright

async def scrape_dynamic_page(target_url: str, token: str):
    # В Browserless v2 нативный протокол Playwright слушает путь /chromium/playwright
    ws_endpoint = f"wss://browser.yourdomain.ru/chromium/playwright?token={token}"
    
    async with async_playwright() as p:
        # Подключаемся к удаленному кластеру Browserless
        browser = await p.chromium.connect(ws_endpoint)
        context = await browser.new_context(
            user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36"
        )
        page = await context.new_page()
        
        print(f"[INFO] Загрузка страницы: {target_url}")
        await page.goto(target_url, wait_until="networkidle", timeout=45000)
        
        # Извлекаем отрендеренный DOM после выполнения всех клиентских React/Vue скриптов
        rendered_html = await page.content()
        page_title = await page.title()
        
        print(f"[OK] Страница '{page_title}' успешно отрендерена ({len(rendered_html)} байт)")
        await browser.close()
        return rendered_html

if __name__ == "__main__":
    TOKEN = "ВАШ_СЕКРЕТНЫЙ_ТОКЕН_ИЗ_ENV"
    asyncio.run(scrape_dynamic_page("https://syskit.ru/blog", TOKEN))

Важное предостережение о версиях Playwright: При подключении через нативный протокол /chromium/playwright клиентская библиотека playwright на сервере вашего приложения и версия Chromium/Playwright внутри контейнера Browserless обмениваются бинарными сообщениями протокола Playwright. В случае существенного расхождения версий клиент может завершить соединение с ошибкой несовместимости протокола (Protocol mismatch). В продакшене рекомендуется либо фиксировать версию в requirements.txt (например, playwright==1.48.*), либо использовать подключение через нативный Chrome DevTools Protocol (CDP) по пути /chromium?token=... через метод await p.chromium.connect_over_cdp(ws_endpoint), который гарантирует стабильность независимо от версии библиотеки Playwright.

Такой подход полностью изолирует браузерные вычисления на выделенном сервере: микросервис ИИ-агента не раздувается зависимостями браузера и потребляет всего 50 МБ RAM, а сложный рендеринг выполняет высокопроизводительный кластер Browserless.

Раздел 8. Автоматический бэкап конфигурации в S3 и аварийное восстановление

Файлы конфигураций, токены доступа и скрипты автоматизации должны регулярно резервироваться в независимом S3-хранилище (например, Timeweb Cloud S3 или Selectel S3) с предварительным симметричным шифрованием архива алгоритмом OpenSSL AES-256-CBC.

Подготовим скрипт резервного копирования /opt/browserless/backup.sh:

#!/usr/bin/env bash
set -euo pipefail

# Загрузка переменных окружения
if [ ! -f /opt/browserless/.env ]; then
    echo "[ERROR] Файл окружения /opt/browserless/.env не найден!" >&2
    exit 1
fi
source /opt/browserless/.env

BACKUP_DIR="/var/backups/browserless"
DATE="$(date +%Y%m%d_%H%M%S)"
ARCHIVE_NAME="browserless_backup_${DATE}.tar.gz"
ENC_ARCHIVE="${ARCHIVE_NAME}.enc"
LATEST_ENC="browserless_backup_LATEST.enc"
S3_BUCKET="s3://your-company-infra-backups/browserless"
S3_ENDPOINT="https://s3.timeweb.cloud"
SECRET_KEY="${BACKUP_SECRET_KEY}"

mkdir -p "${BACKUP_DIR}"

# Архивация конфигурации, env-файла и скриптов
tar -czf "${BACKUP_DIR}/${ARCHIVE_NAME}" \
    -C /opt/browserless \
    docker-compose.yml .env

# Симметричное шифрование архива алгоритмом AES-256-CBC с PBKDF2
openssl enc -aes-256-cbc -pbkdf2 -salt \
    -in "${BACKUP_DIR}/${ARCHIVE_NAME}" \
    -out "${BACKUP_DIR}/${ENC_ARCHIVE}" \
    -pass env:BACKUP_SECRET_KEY

# Загрузка архива и указателя актуальности LATEST в S3-бакет
aws --endpoint-url "${S3_ENDPOINT}" s3 cp \
    "${BACKUP_DIR}/${ENC_ARCHIVE}" \
    "${S3_BUCKET}/${ENC_ARCHIVE}"

aws --endpoint-url "${S3_ENDPOINT}" s3 cp \
    "${BACKUP_DIR}/${ENC_ARCHIVE}" \
    "${S3_BUCKET}/${LATEST_ENC}"

# Очистка локальных копий старше 7 дней
rm -f "${BACKUP_DIR}/${ARCHIVE_NAME}"
find "${BACKUP_DIR}" -name "browserless_backup_*.enc" -mtime +7 -delete

echo "[INFO] Резервная копия Browserless успешно зашифрована и выгружена в S3: ${ENC_ARCHIVE}"

Сделайте скрипт исполняемым и добавьте ночную задачу в crontab:

chmod +x /opt/browserless/backup.sh
(crontab -l 2>/dev/null; echo "15 4 * * * /opt/browserless/backup.sh > /dev/null 2>&1") | crontab -

Для аварийного восстановления кластера на новом VDS выполните скачивание и расшифровку последнего архива:

# Скачивание и расшифровка снапшота из S3
aws --endpoint-url https://s3.timeweb.cloud s3 cp s3://your-company-infra-backups/browserless/browserless_backup_LATEST.enc ./backup.enc
export BACKUP_SECRET_KEY="ВАШ_КЛЮЧ_ШИФРОВАНИЯ_БЭКАПА"
openssl enc -d -aes-256-cbc -pbkdf2 -in ./backup.enc -out ./backup.tar.gz -pass env:BACKUP_SECRET_KEY
mkdir -p /opt/browserless && tar -xzf ./backup.tar.gz -C /opt/browserless
cd /opt/browserless && docker compose up -d

Раздел 9. Чек-лист проверки готовности браузерного кластера

Проверочный критерий Метод проверки Ожидаемый результат
Квота разделяемой памяти /dev/shm docker inspect browserless --format='{{.HostConfig.ShmSize}}' Не менее 2147483648 (ровно 2 ГБ для стабильности Chromium)
Изоляция внутреннего порта 3000 ss -tulpn | grep 3000 Привязка строго к 127.0.0.1:3000, порт закрыт в UFW
HTTPS и валидность сертификата Проверка SSL через SysKit TLSv1.2/TLSv1.3 активен, сертификат Let's Encrypt валиден
Поддержка WebSocket (WSS) Подключение Puppeteer к wss://browser.yourdomain.ru Успешное рукопожатие Upgrade без ошибки 1006 или 502 Bad Gateway
Защита авторизацией Запрос curl без передачи токена HTTP 401/403 Unauthorized со стороны Nginx или Browserless
Генерация документов (/pdf, /screenshot) Тестовый POST-запрос с простым HTML Успешный возврат бинарного потока PDF/WebP менее чем за 1.5 сек
Резервное копирование Тестовый запуск backup.sh Зашифрованный архив .enc успешно загружен в S3-бакет

Вы развернули высокопроизводительный, полностью автономный браузерный кластер Browserless. Решение не зависит от зарубежных облачных подписок, защищено строгой токен-аутентификацией и современным шифрованием TLSv1.3, обрабатывает персональные данные строго внутри контура VDS по 152-ФЗ и готово к бесперебойной интеграции с вашими парсерами и ИИ-агентами.

Рекомендуемые VDS-провайдеры

Отказоустойчивые сервера с быстрыми NVMe и каналом до 1 Гбит/с

Выбор редакции SysKit
⚡

Timeweb Cloud — Мощные NVMe VDS для Chromium

Высокочастотные процессоры 3.3+ ГГц и быстрые NVMe-диски для мгновенного рендеринга тяжелых веб-страниц и генерации PDF.

Конфигурация
2 vCPU • 4 ГБ RAM • 50 ГБ NVMe • Трафик без лимита
Премиум Tier III
🔷

Selectel — Корпоративная инфраструктура Tier III

Гарантированные ресурсы vCPU без скрытого троттлинга, изолированные сети и полное соответствие требованиям закона 152-ФЗ (УЗ-1).

Конфигурация
2 vCPU • 4 ГБ RAM • 60 ГБ NVMe • Сеть до 1 Гбит/с
Быстрый старт
🟠

Beget — Надежные серверы на базе AMD EPYC

Современные процессоры AMD EPYC, удобная панель управления, посуточная оплата и моментальные резервные снапшоты.

Конфигурация
2 vCPU • 4 ГБ RAM • 60 ГБ NVMe • Безлимитный трафик

Вопросы и ответы (FAQ)

Популярные вопросы вебмастеров и сисадминов по данной теме

Почему Chromium в Docker падает с ошибкой SIGBUS или Target closed?
По умолчанию Docker выделяет для контейнера виртуальную разделяемую память /dev/shm объемом всего 64 МБ. Для Chromium этого недостаточно при рендеринге тяжелых сайтов и скриншотов. Обязательно добавляйте директиву shm_size: 2gb в docker-compose.yml для стабильной работы браузера.
Сколько браузерных сессий может одновременно обрабатывать VDS с 2 vCPU и 4 ГБ RAM?
Рекомендуемое значение параметра CONCURRENT для сервера с 4 ГБ RAM составляет от 4 до 6 параллельных сессий. Каждая браузерная сессия под реальной нагрузкой со сложным динамическим JavaScript и раздутым DOM потребляет от 300 до 500 МБ оперативной памяти (плюс резервируется 2 ГБ для виртуальной памяти /dev/shm). Ограничение пула жестко защищает систему от исчерпания памяти и падений под пиковой нагрузкой.
Можно ли использовать Browserless для обхода Cloudflare и капч?
Базовая Open Source редакция Browserless использует официальный бинарник Chromium и не содержит встроенных механизмов обхода продвинутых антибот-систем (Cloudflare Turnstile, Cloudflare WAF, DataDome) — режим Stealth официально является частью закрытой Enterprise-версии. В самостоятельном развертывании для работы с умеренно защищенными ресурсами администраторы подключают резидентные прокси с ротацией IP и настраивают реалистичные User-Agent и интервалы задержек, однако гарантированный обход сложных капч открытым образом не поддерживается.
Как настроить авторизацию, чтобы никто посторонний не мог использовать мой браузер?
В файле .env задается параметр BROWSERLESS_TOKEN. При любых запросах к REST API или подключении по WebSocket (WSS) клиент обязан передавать этот токен в параметре URL (?token=...) либо в заголовке Authorization: Bearer. Неавторизованные запросы мгновенно отклоняются.

Читайте также в блоге SysKit

Смежные руководства и полезные технические статьи