Современный веб кардинально изменился: большинство интернет-магазинов, корпоративных порталов, финансовых платформ и личных кабинетов строятся на базе тяжелых клиентских фреймворков (React, Next.js, Vue, Angular). Для таких сайтов традиционные библиотеки парсинга (cURL, Python Requests, Beautiful Soup) оказываются бессильны: сервер отдает пустой HTML-каркас, а реальные данные, цены, графики и таблицы подгружаются асинхронно через JavaScript и WebSockets. В результате разработчики сталкиваются с необходимостью рендеринга страниц через полноценные браузерные движки.
Попытки запускать Chromium или Firefox локально внутри каждого микросервиса приводят к быстрому исчерпанию оперативной памяти и появлению сотен «зомби-процессов», а аренда коммерческих облачных браузерных ферм (Browserless.io, ScrapingBee, BrowserCat) обходится в \$50–150 ежемесячно, создает сетевые задержки и передает авторизационные куки и конфиденциальные данные клиентов на зарубежные серверы вразрез с требованиями Федерального закона № 152-ФЗ.
Browserless — ведущий open-source инструмент корпоративного уровня для управления кластером Headless Chromium в изолированном Docker-контейнере. В данном практическом руководстве мы фиксируем проверенную стабильную сборку v2.63.1 (официальный образ ghcr.io/browserless/chromium весом около 4,3 ГБ в распакованном виде). Сервис предоставляет единый высокопроизводительный шлюз: к нему можно подключаться по стандартному протоколу Chrome DevTools (CDP) через библиотеки Puppeteer, Playwright и нативные CDP-клиенты (поддержка устаревшего Selenium/WebDriver была исключена во второй ветке в пользу скорости и легкости нативного протокола), либо вызывать готовые REST API эндпоинты для мгновенного снятия скриншотов (/screenshot), экспорта отчетов в PDF (/pdf) и получения отрендеренного DOM-дерева (/content). В этом руководстве мы разберем развертывание стабильного релиза Browserless v2.63.1 на VDS в Docker Compose, настроим безопасный доступ через Nginx с WSS-проксированием и токенами, решим критическую проблему нехватки памяти /dev/shm и интегрируем браузерный кластер с Python RAG-агентами.
Раздел 1. Архитектура Browserless: CDP, пул процессов и сравнение с облачными SaaS
Browserless кардинально отличается от наивного запуска скриптов вида puppeteer.launch() внутри фонового воркера. Под капотом сервиса работает интеллектуальный менеджер процессов на базе Node.js, который управляет жизненным циклом экземпляров Chromium (исходный код распространяется по лицензии SSPL-1.0 для самостоятельного хостинга, а для закрытых коммерческих платформ доступна Enterprise-лицензия):
- Протокол Chrome DevTools (CDP) поверх WebSocket: Клиентское приложение не запускает тяжелый бинарник браузера у себя, а открывает легкое WebSocket-соединение к удаленному серверу VDS. Браузерные команды (клики, ввод текста, эмуляция скролла, перехват сетевых запросов) передаются в виде компактных JSON-RPC пакетов.
- Оптимизированный менеджер воркеров v2 (On-Demand Isolation): Во 2-й ветке Browserless отказался от устаревших механизмов v1 в пользу мгновенного динамического запуска изолированных браузерных контекстов (BrowserContext). Каждый сеанс работает в отдельной чистой песочнице с собственным профилем, кэшем и куками, которые мгновенно и без следа уничтожаются сразу после завершения сессии.
- Защита от деградации памяти и авторотация: Чтобы Chromium не накапливал утечки памяти при тысячах последовательных запросов, менеджер процессов автоматически пересоздает базовые воркеры после выполнения заданного количества задач или по таймауту, поддерживая потребление RAM на стабильном уровне.
- Очереди и лимиты конкурентности (Concurrency Limits): Администратор жестко задает максимальное количество одновременно активных браузерных сессий (
CONCURRENT). При превышении лимита входящие сессии помещаются в защитную очередь (переменнаяQUEUEDв Browserless v2), предотвращая исчерпание ресурсов процессора и оперативной памяти VDS при пиковых всплесках трафика.
| Характеристика / Критерий | Локальный Puppeteer в коде | Облачный SaaS (Browserless.io) | Browserless v2 на VDS |
|---|---|---|---|
| Потребление ресурсов хоста | Хаотичные всплески до 100% RAM/CPU | 0 (выполняется в облаке) | Строго лимитировано через cgroups и Docker |
| Стоимость владения | Требует мощных серверов разработки | от \$50–150/мес за лимитированные минуты | 0 ₽ за софт (VDS от 450 ₽/мес) |
| Задержка сети (Latency) | Локально (0 мс) | 200–500 мс (зарубежный шлюз при трансграничных запросах) | 5–30 мс (при размещении в ЦОД РФ для локальных клиентов) |
| Конфиденциальность и 152-ФЗ | Локально | Данные страниц уходят третьим лицам | 100% On-Premise (контур вашей инфраструктуры) |
| Защита от зомби-процессов | Требует сложного ручного менеджмента | Управляется SaaS-провайдером | Встроенный автоматический супервизор процессов |
| Готовые REST-эндпоинты | Нужно писать собственный HTTP-сервер | Доступны | Встроены из коробки (/pdf, /screenshot, /content) |
Раздел 2. Системные требования к VDS и подготовка хостовой ОС
Headless Chromium — ресурсоемкое приложение. При рендеринге сложных веб-страниц с тысячами DOM-элементов и анимациями браузер активно использует оперативную память и дисковый кэш. Особое внимание необходимо уделить двум системным факторам: разделяемой памяти /dev/shm и наличию файла подкачки (Swap).
| Конфигурация VDS | Ресурсы сервера | Рекомендуемая нагрузка |
|---|---|---|
| Базовый тариф | 2 vCPU / 2 ГБ RAM / 30 ГБ NVMe | До 2–3 параллельных браузерных сессий (генерация PDF, парсинг по расписанию) |
| Рабочий тариф (рекомендуемый) | 2–4 vCPU / 4 ГБ RAM / 50 ГБ NVMe | До 5–8 параллельных сессий в реальном времени для RAG-агентов и парсеров |
| Высоконагруженный кластер | 4–8 vCPU / 8–16 ГБ RAM / 80 ГБ NVMe | 15–30 параллельных потоков для массового скрапинга и веб-автоматизации |
Подключитесь к серверу по SSH под пользователем с привилегиями sudo. Обновите списки пакетов и установите необходимые системные утилиты:
sudo apt update && sudo apt upgrade -y
# Устанавливаем базовые пакеты, веб-сервер Nginx, certbot и утилиту тестирования сокетов
sudo apt install -y curl wget git ufw ca-certificates gnupg nginx certbot python3-certbot-nginx
Для предотвращения внезапного срабатывания OOM Killer при открытии тяжелых многостраничных документов создадим и активируем файл подкачки объемом 2 ГБ (если он не был настроен хостинг-провайдером по умолчанию):
# Проверяем текущее состояние swap
free -h
# Если swap отсутствует, создаем файл подкачки на 2 ГБ
if [ $(swapon --show | wc -l) -eq 0 ]; then
sudo fallocate -l 2G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile
echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab
echo "vm.swappiness=10" | sudo tee -a /etc/sysctl.d/99-sysctl.conf
sudo sysctl -p /etc/sysctl.d/99-sysctl.conf
fi
Настроим межсетевой экран UFW. Критически важно: порт Browserless (3000) не должен быть открыт в публичный интернет без авторизации и шифрования. Открываем только стандартные порты SSH, HTTP и HTTPS:
sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow 22/tcp comment 'SSH'
sudo ufw allow 80/tcp comment 'HTTP Certbot'
sudo ufw allow 443/tcp comment 'HTTPS Nginx'
sudo ufw --force enable
sudo ufw status verbose
Контейнер Browserless будет слушать порт исключительно на локальном интерфейсе loopback (127.0.0.1:3000), а доступ к нему будет маршрутизироваться через защищенный Nginx Reverse Proxy.
Раздел 3. Развертывание Browserless v2.63.1 в Docker Compose
Для гарантированной стабильности и воспроизводимости развертывания используем официальный оптимизированный образ ghcr.io/browserless/chromium:v2.63.1. Обратите внимание на две критически важные инженерные детали:
- Разделяемая память
shm_size: 2gb: По умолчанию Docker выделяет для контейнера виртуальную память/dev/shmразмером всего 64 МБ. Для Chromium это фатально: при открытии тяжелых сайтов, рендеринге канвасов или захвате скриншотов браузер мгновенно исчерпывает эту память и аварийно завершается с ошибкамиSIGBUSилиTarget closed. Директиваshm_size: 2gbрешает эту проблему в корне. - Изоляция сетевого сокета: Порт
3000привязывается строго к петлевому интерфейсу127.0.0.1:3000:3000. Это исключает неавторизованный доступ к браузерному движку извне в обход файрвола хоста.
Создадим рабочую директорию проекта и файл переменных окружения /opt/browserless/.env:
sudo mkdir -p /opt/browserless
sudo chown -R $USER:$USER /opt/browserless
cd /opt/browserless
Сгенерируйте надежный мастер-токен авторизации (от 32 символов) с помощью нашего бесплатного инструмента генератор паролей SysKit и сохраните его в файл окружения:
cat <<'EOF' > /opt/browserless/.env
# Секретный мастер-токен доступа к API и WebSocket Browserless
BROWSERLESS_TOKEN="СВЕРХНАДЕЖНЫЙ_СЕКРЕТНЫЙ_ТОКЕН_ИЗ_PASSWORD_GENERATOR"
# Секретный ключ симметричного шифрования бэкапов (OpenSSL AES-256-CBC)
BACKUP_SECRET_KEY="СВЕРХНАДЕЖНЫЙ_КЛЮЧ_ШИФРОВАНИЯ_БЭКАПОВ_ИЗ_PASSWORD_GENERATOR"
# Часовой пояс сервера
TZ="Europe/Moscow"
EOF
chmod 600 /opt/browserless/.env
Подготовим файл развертывания /opt/browserless/docker-compose.yml:
services:
browserless:
image: ghcr.io/browserless/chromium:v2.63.1
container_name: browserless
restart: unless-stopped
env_file:
- .env
ports:
# Защита портов: доступ только через локальный Nginx
- "127.0.0.1:3000:3000"
shm_size: 2gb
environment:
- TOKEN=${BROWSERLESS_TOKEN}
# Максимальное количество одновременно активных браузерных сессий
- CONCURRENT=5
# Максимальная длительность выполнения сессии Chromium (execution timeout в миллисекундах: 60 сек)
- TIMEOUT=60000
# В Browserless v2 очередь входящих задач задается параметром QUEUED
- QUEUED=10
- TZ=${TZ}
mem_limit: 3072m
cpus: "2.0"
healthcheck:
# Проверка через встроенный рантайм Node.js исключает зависимость от наличия curl в контейнере
test: ["CMD", "node", "-e", "require('http').get('http://127.0.0.1:3000/docs', (r) => process.exit(r.statusCode === 200 ? 0 : 1))"]
interval: 30s
timeout: 5s
retries: 3
start_period: 15s
logging:
driver: "json-file"
options:
max-size: "10m"
max-file: "3"
Запустим контейнер и проверим логи инициализации Chromium:
docker compose up -d
docker compose ps
docker compose logs -f --tail=30
Протестируем доступность локального HTTP-сервера и документации API Browserless:
# Проверка доступности API-эндпоинтов
curl -I http://127.0.0.1:3000/docs
# Ожидаемый ответ: HTTP/1.1 200 OK
Раздел 4. Защита шлюза: Nginx, Let's Encrypt и WebSocket (WSS)
Для безопасного подключения внешних приложений, Telegram-ботов и микросервисов развернем обратный прокси Nginx с шифрованием TLSv1.3, автопродлением сертификата Let's Encrypt и полноценной поддержкой протокола WebSocket (WSS).
Сначала выпустим бесплатный SSL-сертификат для поддомена browser.yourdomain.ru (замените на ваш реальный домен, направленный на IP-адрес VDS) с автоматическим редиректом на HTTPS:
# Выпуск SSL-сертификата Let's Encrypt с флагом --redirect
sudo certbot --nginx -d browser.yourdomain.ru --redirect --non-interactive --agree-tos -m admin@yourdomain.ru
Защита токена от утечки в access-логи Nginx: Передача токена в строке запроса (?token=...) удобна при тестировании через браузер, однако приводит к сохранению секретного ключа в стандартных журналах доступа веб-сервера. В боевом окружении рекомендуем передавать токен в HTTP-заголовке Authorization: Bearer <TOKEN>, либо настроить маскирование чувствительных параметров в директиве log_format Nginx.
Создадим конфигурационный файл виртуального хоста Nginx /etc/nginx/sites-available/browserless.conf:
upstream browserless_backend {
server 127.0.0.1:3000;
keepalive 32;
}
server {
listen 80;
listen [::]:80;
server_name browser.yourdomain.ru;
# Автоматический редирект HTTP на защищенный HTTPS
return 301 https://$host$request_uri;
}
server {
# Стандартный синтаксис для Nginx версий до 1.25 (Ubuntu 22.04 LTS, Ubuntu 24.04 LTS, Debian 12)
listen 443 ssl http2;
listen [::]:443 ssl http2;
# Для Nginx 1.25.1+ из официального mainline-репозитория: listen 443 ssl; http2 on;
server_name browser.yourdomain.ru;
ssl_certificate /etc/letsencrypt/live/browser.yourdomain.ru/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/browser.yourdomain.ru/privkey.pem;
ssl_protocols TLSv1.2 TLSv1.3;
ssl_ciphers HIGH:!aNULL:!MD5;
ssl_prefer_server_ciphers on;
ssl_session_cache shared:SSL:10m;
ssl_session_timeout 1d;
# Современные заголовки безопасности
add_header X-Frame-Options "DENY" always;
add_header X-Content-Type-Options "nosniff" always;
add_header Content-Security-Policy "default-src 'none'; frame-ancestors 'none';" always;
add_header Referrer-Policy "strict-origin-when-cross-origin" always;
# Максимальный размер тела запроса (HTML-шаблоны для PDF)
client_max_body_size 20M;
location / {
proxy_pass http://browserless_backend;
proxy_http_version 1.1;
# Критически важно: поддержка постоянных соединений WebSocket (WSS) для CDP-сессий
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
# Увеличенные таймауты под длительные сессии парсинга и генерации многостраничных PDF
# Значение 300s намеренно превышает серверный лимит сессии TIMEOUT=60000 (60s), исключая обрыв соединения со стороны Nginx
proxy_read_timeout 300s;
proxy_connect_timeout 15s;
proxy_send_timeout 300s;
# Отключение буферизации для потоковой передачи снимков экрана
proxy_buffering off;
}
}
Активируем виртуальный хост, проверим синтаксис конфигурации Nginx и перезагрузим веб-сервер:
sudo ln -s /etc/nginx/sites-available/browserless.conf /etc/nginx/sites-enabled/
sudo nginx -t
sudo systemctl reload nginx
Проверить валидность цепочки сертификатов и корректность редиректов можно в один клик через наши инструменты онлайн-проверки SSL-сертификата и анализатора редиректов SysKit.
Раздел 5. Критерии выбора VDS под браузерный инференс в РФ
Запуск реального браузерного движка Chromium в headless-режиме предъявляет специфические требования к виртуальному серверу, отличные от обычных микросервисов или баз данных:
- Объем оперативной памяти (RAM) и квота /dev/shm: Каждый открытый сеанс браузера с тяжелой страницей потребляет от 300 до 500 МБ RAM на тяжелых SPA-страницах с большим количеством вкладок и скриптов. Для работы пула из 5 конкурентных сессий (
CONCURRENT=5) с учетом фоновых процессов ОС требуется сервер минимум с 3–4 ГБ оперативной памяти. Попытка запустить браузерную ферму на VDS с 1 ГБ RAM приведет к непрерывной пробуксовке swap и падению вкладок по таймауту. - Однопоточная производительность ядер (Single-Core CPU): Парсинг сложного JavaScript, вычисление CSS-стилей и рендеринг DOM-дерева выполняются в основном потоке браузера (Main Thread). Процессоры с высокой тактовой частотой и современными архитектурами (AMD EPYC, Intel Xeon Gold) позволяют существенно быстрее завершать обработку сложных клиентских скриптов по сравнению со слабыми низкочастотными виртуальными ядрами.
- Скорость дискового ввода-вывода (NVMe IOPS) и размер накопителя: Браузер непрерывно кэширует шрифты, скрипты, изображения и временные файлы профилей. Кроме того, распакованный образ
ghcr.io/browserless/chromiumзанимает около 4,3 ГБ. Рекомендуется выделять не менее 25–30 ГБ пространства на быстрых Enterprise NVMe-накопителях, чтобы исключить задержки дискового ввода-вывода (iowait) и дефицит свободного места при активной ротации кэша. - Локализация данных и требования 152-ФЗ: При автоматизации парсинга личных кабинетов, формировании бухгалтерских актов, договоров и платежных квитанций браузер обрабатывает конфиденциальные персональные данные граждан РФ. Размещение кластера в российских дата-центрах уровня Tier III гарантирует соблюдение требований законодательства и исключает риски внезапных сетевых блокировок со стороны зарубежных облачных шлюзов.
Инженерная рекомендация редакции SysKit: Для бесперебойной работы Browserless рекомендуем развертывать кластер на инфраструктуре проверенных российских облачных провайдеров:
- Timeweb Cloud: Высокоскоростные процессоры с частотой до 3.3–3.7 ГГц, быстрые NVMe-диски, дата-центры в Москве и Санкт-Петербурге, удобная почасовая тарификация, оплата картами РФ / СБП и совместимое S3-хранилище для архивации документов.
- Selectel: Корпоративная инфраструктура высшей категории надежности (Tier III), строгая аттестация по 152-ФЗ (УЗ-1), выделенные гарантированные vCPU без оверселлинга и детальные соглашения об уровне обслуживания (SLA).
- Beget: Надежные серверы на процессорах AMD EPYC, удобный интерфейс, высокая скорость дисковых операций и моментальные автоматические снапшоты для безопасного обновления окружения.
Примечание: В рамках открытой инженерной этики редакция сообщает, что ссылки на облачные платформы являются партнерскими и помогают поддерживать бесплатную работу наших сервисов без влияния на объективность экспертных тестов.
Раздел 6. Практическое использование: генерация PDF и скриншотов через cURL и Puppeteer
Browserless предоставляет мощные встроенные REST-эндпоинты, которые позволяют генерировать документы и захватывать изображения без написания сложного кода управления браузером.
1. Мгновенная генерация PDF из HTML-шаблона в один запрос cURL
Для генерации счетов-фактур, актов и отчетов отправьте POST-запрос на эндпоинт /pdf с телом документа и параметрами верстки (формат A4, поля, колонтитулы):
curl -X POST "https://browser.yourdomain.ru/pdf?token=ВАШ_ТОКЕН" \
-H "Content-Type: application/json" \
-d '{
"html": "<html><body style=\"font-family: Arial; padding: 40px;\"><h1 style=\"color: #1a56db;\">Акт выполненных работ № 1048</h1><p>Услуги предоставлены в полном объеме в соответствии с договором.</p><hr><p><strong>Итого к оплате:</strong> 45 000 руб.</p></body></html>",
"options": {
"format": "A4",
"printBackground": true,
"margin": {
"top": "20mm",
"bottom": "20mm",
"left": "15mm",
"right": "15mm"
}
}
}' \
--output invoice_1048.pdf
# Проверяем созданный PDF-файл
ls -lh invoice_1048.pdf
file invoice_1048.pdf
2. Создание полностраничного скриншота веб-сайта
Для автоматического мониторинга верстки или формирования превью отправьте запрос на эндпоинт /screenshot с параметром fullPage: true:
curl -X POST "https://browser.yourdomain.ru/screenshot?token=ВАШ_ТОКЕН" \
-H "Content-Type: application/json" \
-d '{
"url": "https://syskit.ru",
"options": {
"type": "webp",
"quality": 85,
"fullPage": true
},
"gotoOptions": {
"waitUntil": "networkidle2"
}
}' \
--output syskit_homepage.webp
3. Прямое подключение Node.js Puppeteer к удаленному кластеру
В вашем Node.js приложении используйте официальный эндпоинт Chromium для CDP-подключения (/chromium?token=...):
const puppeteer = require('puppeteer-core');
async function run() {
const browser = await puppeteer.connect({
// В Browserless v2 подключение к движку Chromium выполняется по пути /chromium
browserWSEndpoint: 'wss://browser.yourdomain.ru/chromium?token=ВАШ_ТОКЕН',
});
const page = await browser.newPage();
await page.setViewport({ width: 1920, height: 1080 });
await page.goto('https://syskit.ru', { waitUntil: 'networkidle2' });
const title = await page.title();
console.log(`Заголовок страницы, отрендеренной в VDS-кластере: ${title}`);
// Обязательно закрываем браузер для освобождения сессии в пуле Browserless
await browser.close();
}
run().catch(console.error);
Раздел 7. Интеграция с Python RAG-агентами и извлечение динамического контента
При построении систем генерации с расширенным поиском (RAG) ИИ-агенты должны извлекать текстовый контент с сайтов, защищенных динамической подгрузкой через клиентский JS. В Browserless v2 подключение библиотеки playwright выполняется по специальному каноническому пути /chromium/playwright (с поддержкой нативного серверного протокола Playwright) либо по пути /chromium через CDP:
import asyncio
from playwright.async_api import async_playwright
async def scrape_dynamic_page(target_url: str, token: str):
# В Browserless v2 нативный протокол Playwright слушает путь /chromium/playwright
ws_endpoint = f"wss://browser.yourdomain.ru/chromium/playwright?token={token}"
async with async_playwright() as p:
# Подключаемся к удаленному кластеру Browserless
browser = await p.chromium.connect(ws_endpoint)
context = await browser.new_context(
user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36"
)
page = await context.new_page()
print(f"[INFO] Загрузка страницы: {target_url}")
await page.goto(target_url, wait_until="networkidle", timeout=45000)
# Извлекаем отрендеренный DOM после выполнения всех клиентских React/Vue скриптов
rendered_html = await page.content()
page_title = await page.title()
print(f"[OK] Страница '{page_title}' успешно отрендерена ({len(rendered_html)} байт)")
await browser.close()
return rendered_html
if __name__ == "__main__":
TOKEN = "ВАШ_СЕКРЕТНЫЙ_ТОКЕН_ИЗ_ENV"
asyncio.run(scrape_dynamic_page("https://syskit.ru/blog", TOKEN))
Важное предостережение о версиях Playwright: При подключении через нативный протокол /chromium/playwright клиентская библиотека playwright на сервере вашего приложения и версия Chromium/Playwright внутри контейнера Browserless обмениваются бинарными сообщениями протокола Playwright. В случае существенного расхождения версий клиент может завершить соединение с ошибкой несовместимости протокола (Protocol mismatch). В продакшене рекомендуется либо фиксировать версию в requirements.txt (например, playwright==1.48.*), либо использовать подключение через нативный Chrome DevTools Protocol (CDP) по пути /chromium?token=... через метод await p.chromium.connect_over_cdp(ws_endpoint), который гарантирует стабильность независимо от версии библиотеки Playwright.
Такой подход полностью изолирует браузерные вычисления на выделенном сервере: микросервис ИИ-агента не раздувается зависимостями браузера и потребляет всего 50 МБ RAM, а сложный рендеринг выполняет высокопроизводительный кластер Browserless.
Раздел 8. Автоматический бэкап конфигурации в S3 и аварийное восстановление
Файлы конфигураций, токены доступа и скрипты автоматизации должны регулярно резервироваться в независимом S3-хранилище (например, Timeweb Cloud S3 или Selectel S3) с предварительным симметричным шифрованием архива алгоритмом OpenSSL AES-256-CBC.
Подготовим скрипт резервного копирования /opt/browserless/backup.sh:
#!/usr/bin/env bash
set -euo pipefail
# Загрузка переменных окружения
if [ ! -f /opt/browserless/.env ]; then
echo "[ERROR] Файл окружения /opt/browserless/.env не найден!" >&2
exit 1
fi
source /opt/browserless/.env
BACKUP_DIR="/var/backups/browserless"
DATE="$(date +%Y%m%d_%H%M%S)"
ARCHIVE_NAME="browserless_backup_${DATE}.tar.gz"
ENC_ARCHIVE="${ARCHIVE_NAME}.enc"
LATEST_ENC="browserless_backup_LATEST.enc"
S3_BUCKET="s3://your-company-infra-backups/browserless"
S3_ENDPOINT="https://s3.timeweb.cloud"
SECRET_KEY="${BACKUP_SECRET_KEY}"
mkdir -p "${BACKUP_DIR}"
# Архивация конфигурации, env-файла и скриптов
tar -czf "${BACKUP_DIR}/${ARCHIVE_NAME}" \
-C /opt/browserless \
docker-compose.yml .env
# Симметричное шифрование архива алгоритмом AES-256-CBC с PBKDF2
openssl enc -aes-256-cbc -pbkdf2 -salt \
-in "${BACKUP_DIR}/${ARCHIVE_NAME}" \
-out "${BACKUP_DIR}/${ENC_ARCHIVE}" \
-pass env:BACKUP_SECRET_KEY
# Загрузка архива и указателя актуальности LATEST в S3-бакет
aws --endpoint-url "${S3_ENDPOINT}" s3 cp \
"${BACKUP_DIR}/${ENC_ARCHIVE}" \
"${S3_BUCKET}/${ENC_ARCHIVE}"
aws --endpoint-url "${S3_ENDPOINT}" s3 cp \
"${BACKUP_DIR}/${ENC_ARCHIVE}" \
"${S3_BUCKET}/${LATEST_ENC}"
# Очистка локальных копий старше 7 дней
rm -f "${BACKUP_DIR}/${ARCHIVE_NAME}"
find "${BACKUP_DIR}" -name "browserless_backup_*.enc" -mtime +7 -delete
echo "[INFO] Резервная копия Browserless успешно зашифрована и выгружена в S3: ${ENC_ARCHIVE}"
Сделайте скрипт исполняемым и добавьте ночную задачу в crontab:
chmod +x /opt/browserless/backup.sh
(crontab -l 2>/dev/null; echo "15 4 * * * /opt/browserless/backup.sh > /dev/null 2>&1") | crontab -
Для аварийного восстановления кластера на новом VDS выполните скачивание и расшифровку последнего архива:
# Скачивание и расшифровка снапшота из S3
aws --endpoint-url https://s3.timeweb.cloud s3 cp s3://your-company-infra-backups/browserless/browserless_backup_LATEST.enc ./backup.enc
export BACKUP_SECRET_KEY="ВАШ_КЛЮЧ_ШИФРОВАНИЯ_БЭКАПА"
openssl enc -d -aes-256-cbc -pbkdf2 -in ./backup.enc -out ./backup.tar.gz -pass env:BACKUP_SECRET_KEY
mkdir -p /opt/browserless && tar -xzf ./backup.tar.gz -C /opt/browserless
cd /opt/browserless && docker compose up -d
Раздел 9. Чек-лист проверки готовности браузерного кластера
| Проверочный критерий | Метод проверки | Ожидаемый результат |
|---|---|---|
| Квота разделяемой памяти /dev/shm | docker inspect browserless --format='{{.HostConfig.ShmSize}}' |
Не менее 2147483648 (ровно 2 ГБ для стабильности Chromium) |
| Изоляция внутреннего порта 3000 | ss -tulpn | grep 3000 |
Привязка строго к 127.0.0.1:3000, порт закрыт в UFW |
| HTTPS и валидность сертификата | Проверка SSL через SysKit | TLSv1.2/TLSv1.3 активен, сертификат Let's Encrypt валиден |
| Поддержка WebSocket (WSS) | Подключение Puppeteer к wss://browser.yourdomain.ru |
Успешное рукопожатие Upgrade без ошибки 1006 или 502 Bad Gateway |
| Защита авторизацией | Запрос curl без передачи токена | HTTP 401/403 Unauthorized со стороны Nginx или Browserless |
| Генерация документов (/pdf, /screenshot) | Тестовый POST-запрос с простым HTML | Успешный возврат бинарного потока PDF/WebP менее чем за 1.5 сек |
| Резервное копирование | Тестовый запуск backup.sh |
Зашифрованный архив .enc успешно загружен в S3-бакет |
Вы развернули высокопроизводительный, полностью автономный браузерный кластер Browserless. Решение не зависит от зарубежных облачных подписок, защищено строгой токен-аутентификацией и современным шифрованием TLSv1.3, обрабатывает персональные данные строго внутри контура VDS по 152-ФЗ и готово к бесперебойной интеграции с вашими парсерами и ИИ-агентами.
Рекомендуемые VDS-провайдеры
Отказоустойчивые сервера с быстрыми NVMe и каналом до 1 Гбит/с
Timeweb Cloud — Мощные NVMe VDS для Chromium
Высокочастотные процессоры 3.3+ ГГц и быстрые NVMe-диски для мгновенного рендеринга тяжелых веб-страниц и генерации PDF.
Selectel — Корпоративная инфраструктура Tier III
Гарантированные ресурсы vCPU без скрытого троттлинга, изолированные сети и полное соответствие требованиям закона 152-ФЗ (УЗ-1).
Beget — Надежные серверы на базе AMD EPYC
Современные процессоры AMD EPYC, удобная панель управления, посуточная оплата и моментальные резервные снапшоты.