Мониторинг логов Nginx в GoAccess на VDS в Docker Compose: интерактивный веб-дашборд в реальном времени через WebSocket без тяжелого ELK

Каждый веб-мастер и системный администратор сталкивался с внезапным замедлением сайта: нагрузка на процессор подскакивает до 100%, страницы открываются с задержкой в несколько секунд, а системный журнал веб-сервера access.log раздувается на гигабайты. Вслепую копаться в текстовых логах через grep, awk и tail -f неудобно и медленно, а развертывание тяжеловесного стека ELK (Elasticsearch, Logstash, Kibana) на доступном VDS с 1–2 ГБ оперативной памяти мгновенно приведет к вызову OOM Killer и падению всей инфраструктуры. Решением этой проблемы является GoAccess — молниеносный анализатор логов на языке Си, потребляющий всего 15–30 МБ RAM. В связке с Docker Compose и Nginx он разворачивается за считанные минуты и транслирует интерактивный дашборд с графиками посещаемости, географией трафика и топом 404/500 ошибок прямо в браузер в реальном времени через защищенный WebSocket.

1. Зачем нужен GoAccess: когда Dozzle и Loki не подходят, а ELK убивает сервер

В экосистеме Linux существует множество инструментов для работы с логами, однако большинство из них создавалось под задачи крупных корпоративных кластеров, а не для компактных серверов малого бизнеса или пет-проектов:

• Elasticsearch / Kibana (стек ELK): Мощный промышленный стандарт с полнотекстовым поиском, требующий от 4 до 8 ГБ только под JVM-память одного демона Elasticsearch. На типичном VDS стоимостью до 1 000 ₽/мес этот стек физически не запустится.
• Grafana Loki и Promtail: Легковеснее ELK, но требует развертывания отдельного демона-агента, сервера агрегации, создания дашбордов в Grafana и составления сложных запросов на языке LogQL. Это оправдано для мониторинга десятков микросервисов, но избыточно, если нужно быстро понять, кто сканирует ваш Nginx.
• Dozzle: Отличный легковесный инструмент, но он предназначен строго для чтения текстового вывода stdout Docker-контейнеров без агрегации, парсинга HTTP-кодов, аналитики IP-адресов и вычисления времени ответа.
• GoAccess: Монолитный бинарный анализатор, написанный на чистом C без внешних тяжелых зависимостей. Он читает журнал access.log со скоростью свыше 100 000 строк в секунду, агрегирует данные в компактные кольцевые буферы в памяти и мгновенно визуализирует их в виде адаптивного веб-дашборда.

2. Архитектура GoAccess: C-движок, кольцевой буфер и WebSocket-пайплайн

GoAccess фундаментально отличается от веб-аналитики на JavaScript (вроде Яндекс.Метрики или Google Analytics). Он анализирует не поведение пользователя в браузере, а физические сетевые пакеты, пришедшие на порт веб-сервера. Это дает ряд критических преимуществ:

1. 100% фиксация паразитного трафика: Сканеры уязвимостей, парсеры на Python/cURL, спам-боты и сетевые флудеры не исполняют JavaScript-счетчики, поэтому они абсолютно невидимы в стандартных системах веб-аналитики. В логах Nginx и отчетах GoAccess виден каждый подозрительный запрос.
2. Устойчивость к блокировщикам: Расширения AdBlock, uBlock Origin и встроенная защита браузеров от слежки полностью бессильны против серверных журналов. Ни один запрос не теряется.
3. Архитектура живого обновления: При запуске с флагом --real-time-html утилита не просто генерирует статическую страницу index.html, но и поднимает встроенный легковесный WebSocket-демон на порту 7890. Как только Nginx дописывает новую строку в access.log, GoAccess моментально парсит ее и отправляет дельту данных во все открытые вкладки браузера через WebSocket-соединение без перезагрузки страницы.

3. Форматы логов Nginx: стандартный COMBINED против расширенного с таймингами

По умолчанию веб-сервер Nginx использует стандартный комбинированный формат логирования combined. Он фиксирует IP клиента, дату, HTTP-метод, URL, статус ответа, размер тела ответа, Referer и User-Agent:

# Стандартный формат combined в Nginx
log_format combined '$remote_addr - $remote_user [$time_local] '
                    '"$request" $status $body_bytes_sent '
                    '"$http_referer" "$http_user_agent"';

В GoAccess этот формат поддерживается нативно директивой log-format COMBINED. Однако для реальной диагностики узких мест и поиска медленных SQL-запросов на сайте критически полезно знать время генерации ответа. Для этого в Nginx настраивается расширенный формат с переменными $request_time (общее время обработки запроса сервером в секундах) и $upstream_response_time (время ответа PHP-FPM или Node.js):

# Расширенный формат логов Nginx с таймингами в секундах
log_format timed_combined '$remote_addr - $remote_user [$time_local] '
                          '"$request" $status $body_bytes_sent '
                          '"$http_referer" "$http_user_agent" '
                          '$request_time $upstream_response_time';

В конфигурации GoAccess расширенный формат со временем ответа описывается следующей строкой:

log-format %h %^[%d:%t %^] "%r" %s %b "%R" "%u" %T %^
date-format %d/%b/%Y
time-format %H:%M:%S

Спецификатор %T указывает GoAccess считывать время ответа в секундах (с миллисекундной точностью, например 0.142), благодаря чему на дашборде активируется панель «Time Taken» с наглядным распределением самых тяжелых страниц сайта.

4. Подготовка хоста, права доступа к логам и базы GeoIP2

Перед запуском контейнера необходимо решить важный вопрос с правами доступа. По умолчанию файл /var/log/nginx/access.log создается с правами 0640 и принадлежит пользователю www-data или adm. Чтобы изолированный Docker-контейнер мог непрерывно читать этот файл без необходимости запускаться под привилегированным пользователем root, мы назначим правильные права доступа.

# Создание каталогов проекта и директории отчетов
mkdir -p /opt/goaccess/config
mkdir -p /opt/goaccess/report
mkdir -p /opt/goaccess/geoip

# Переход в рабочую папку
cd /opt/goaccess

# Разрешение чтения каталога логов веб-сервера для группы adm/docker
sudo chmod 755 /var/log/nginx
sudo chmod 644 /var/log/nginx/access.log

Подключение географических баз данных GeoIP2 (страны и города)

Официальный Docker-образ GoAccess собран с поддержкой библиотеки libmaxminddb. Вы можете бесплатно скачать базы данных формата .mmdb (например, от проекта DB-IP или MaxMind GeoLite2), чтобы на дашборде отображались флаги стран и города посетителей:

# Скачивание свободной базы стран и городов DB-IP Lite
cd /opt/goaccess/geoip
curl -fsSL -o dbip-city-lite.mmdb.gz https://download.db-ip.com/free/dbip-city-lite-2026-10.mmdb.gz
gzip -d dbip-city-lite.mmdb.gz
mv dbip-city-lite-*.mmdb dbip-city-lite.mmdb

5. Развертывание GoAccess в Docker Compose и настройка конфигурации

Создадим конфигурационный файл /opt/goaccess/config/goaccess.conf. В нем мы зафиксируем формат логов, язык интерфейса (русский), путь к базе геоданных и параметры встроенного WebSocket-сервера:

# /opt/goaccess/config/goaccess.conf

# Формат логов (стандартный Nginx COMBINED)
log-format COMBINED

# Формат даты и времени
date-format %d/%b/%Y
time-format %H:%M:%S

# Локализация интерфейса (русский язык)
agent-list true
http-method yes
http-protocol yes
output /report/index.html
real-time-html true

# Внутренний WebSocket-сервер
port 7890
addr 0.0.0.0

# Внешний URL для браузерного WebSocket (будет проксироваться через Nginx)
# Замените analytics.syskit.ru на ваш реальный рабочий поддомен
ws-url wss://analytics.syskit.ru:443/ws

# Подключение базы стран и городов
geoip-database /geoip/dbip-city-lite.mmdb

# Исключение внутренних запросов мониторинга и локальных IP
ignore-ip 127.0.0.1
ignore-ip ::1

Теперь сформируем файл оркестрации /opt/goaccess/docker-compose.yml. Обратите внимание на архитектурные правила надежности SysKit:

• Изоляция порта на loopback: Порт WebSocket 7890 биндится строго на 127.0.0.1:7890:7890. Никакие внешние сканеры не смогут достучаться до демона напрямую в обход Nginx.
• Монтирование в режиме Read-Only: Каталог с системными логами /var/log/nginx монтируется с флагом :ro. Контейнер физически не способен повредить или стереть журналы сервера.
• Лимит оперативной памяти: Ограничение mem_limit: 128m гарантирует, что даже при обработке огромных архивных логов GoAccess не повлияет на работу соседних боевых контейнеров хоста.

services:
  goaccess:
    image: allinurl/goaccess:1.12
    container_name: goaccess-analyzer
    restart: unless-stopped
    volumes:
      # Монтирование логов хоста в режиме только для чтения
      - /var/log/nginx:/opt/log:ro
      # Каталог сгенерированного HTML-отчета
      - ./report:/report
      # Файл конфигурации GoAccess
      - ./config/goaccess.conf:/etc/goaccess/goaccess.conf:ro
      # Каталог базы GeoIP
      - ./geoip:/geoip:ro
    ports:
      # Доступ к WebSocket только с локальной петли хоста
      - "127.0.0.1:7890:7890"
    command: >
      goaccess /opt/log/access.log
      -o /report/index.html
      --config-file=/etc/goaccess/goaccess.conf
    mem_limit: 128m
    cpus: 0.5
    logging:
      driver: "json-file"
      options:
        max-size: "5m"
        max-file: "2"

Запустим контейнер и проверим его логи:

# Запуск анализатора в фоновом режиме
docker compose up -d

# Просмотр логов инициализации
docker compose logs -f goaccess

# Проверка статуса контейнера
docker compose ps

В логах появится подтверждение старта WebSocket сервера: WebSocket server ready to accept new client connections on 0.0.0.0:7890, а в каталоге /opt/goaccess/report будет сгенерирован файл index.html.

6. Настройка Nginx Reverse Proxy, WebSocket и защита через Basic Auth

Чтобы безопасно просматривать дашборд в браузере, настроим виртуальный хост Nginx. Он будет решать три задачи:

1. Раздавать сгенерированный файл /opt/goaccess/report/index.html по протоколу HTTPS.
2. Проксировать WebSocket-запросы по пути /ws на внутренний порт GoAccess 127.0.0.1:7890 с корректными заголовками Upgrade и Connection.
3. Защищать страницу паролем через модуль ngx_http_auth_basic_module.

Сгенерируем файл с логином и надежным паролем для доступа к аналитике с помощью утилиты htpasswd:

# Установка утилиты apache2-utils для генерации паролей htpasswd
sudo apt install -y apache2-utils

# Создание файла паролей с пользователем sysadmin
sudo htpasswd -c /etc/nginx/.htpasswd_goaccess sysadmin

Создадим файл конфигурации хоста /etc/nginx/sites-available/analytics.syskit.ru.conf:

server {
    listen 80;
    server_name analytics.syskit.ru;

    # Базовая авторизация для закрытия доступа посторонним
    auth_basic "SysKit GoAccess Protected Dashboard";
    auth_basic_user_file /etc/nginx/.htpasswd_goaccess;

    # Раздача сформированного HTML-отчета
    location / {
        root /opt/goaccess/report;
        index index.html;
        try_files $uri $uri/ /index.html =404;

        # Запрет кэширования HTML браузером для корректного отображения изменений
        add_header Cache-Control "no-cache, no-store, must-revalidate";
    }

    # Проксирование живого WebSocket-соединения GoAccess
    location /ws {
        proxy_pass http://127.0.0.1:7890;
        proxy_http_version 1.1;

        # Обязательные заголовки переключения протокола WebSocket
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";

        # Передача реальных заголовков клиента
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        # Таймаут удержания WebSocket соединения (24 часа)
        proxy_read_timeout 86400s;
        proxy_send_timeout 86400s;
    }
}

Активируем конфигурацию, проверим синтаксис и выпустим сертификат Let's Encrypt:

# Символическая ссылка в sites-enabled
sudo ln -s /etc/nginx/sites-available/analytics.syskit.ru.conf /etc/nginx/sites-enabled/

# Проверка синтаксиса Nginx
sudo nginx -t

# Перезагрузка сервиса
sudo systemctl reload nginx

# Выпуск автоматического SSL-сертификата Let's Encrypt
sudo certbot --nginx -d analytics.syskit.ru --non-interactive --agree-tos -m admin@syskit.ru --redirect

7. Практическая диагностика: моментальный отлов ботов, сканеров и 404/500 ошибок

После перехода по адресу https://analytics.syskit.ru и ввода логина с паролем перед вами откроется интерактивный дашборд. В правом верхнем углу горит зеленый индикатор WebSocket-соединения — отчет обновляется «на лету» без перезагрузки вкладки.

Что в первую очередь проверять на дашборде во время инцидентов:

• Панель «Not Found URLs (404)»: Самое информативное место при аудите безопасности. Если в топе запросов висят пути вроде /wp-login.php, /xmlrpc.php, /.env, /.git/config или /phpmyadmin/, ваш сервер прощупывает автоматический ботнет-сканер. Вы можете скопировать IP-адрес атакующего и заблокировать его в UFW или Fail2ban.
• Панель «Visitor Hostnames and IPs»: Список самых активных IP-адресов. Если один IP генерирует 20 000 запросов за 10 минут, это явный признак парсинга контента вашего интернет-магазина.
• Панель «HTTP Status Codes»: Нормальное состояние здорового сайта — более 90% кодов 200 OK и 304 Not Modified. Всплеск кодов 500 Internal Server Error свидетельствует о падении бэкенда PHP-FPM или базы данных MySQL, а коды 502 / 504 указывают на перегрузку пула процессов.
• Панель «Operating Systems & Browsers»: Позволяет отличить живых пользователей от скриптов. Массовые запросы с User-Agent python-requests, curl/7.88, Go-http-client или пустым User-Agent легко фильтруются правилом в Nginx.

8. Бесшовная интеграция с Logrotate и сохранение истории логов

Стандартный процесс ротации логов в Linux ежедневно переименовывает access.log в access.log.1, сжимает его в access.log.2.gz и создает новый пустой файл. Если GoAccess перезапустить в этот момент, накопленная статистика за предыдущие дни будет сброшена.

Чтобы сохранять непрерывную историю посещаемости и анализировать архивные логи, применяются две проверенные методики:

1. Флаг удержания истории (директива keep-last)

В конфигурационном файле /opt/goaccess/config/goaccess.conf добавьте директиву:

# Хранить в оперативной памяти данные за последние 30 дней
keep-last 30

При ротации файла GoAccess сохраняет агрегированные метрики в своей внутренней структуре данных и просто подхватывает новые строки из свежесозданного access.log без потери графиков предыдущих недель.

2. Разовый глубокий аудит архивных логов за месяц

Если вам необходимо восстановить картину за прошедший месяц по всем архивным сжатым файлам access.log.*.gz, используйте команду потоковой передачи через утилиту zcat прямо в Docker-контейнер:

# Распаковка всех логов и передача в GoAccess на генерацию единого отчета
zcat -f /var/log/nginx/access.log* | docker run --rm -i \
  -v /opt/goaccess/config/goaccess.conf:/etc/goaccess/goaccess.conf:ro \
  -v /opt/goaccess/report:/report \
  -v /opt/goaccess/geoip:/geoip:ro \
  allinurl/goaccess:1.12 goaccess - -o /report/monthly_audit.html --config-file=/etc/goaccess/goaccess.conf

Сгенерированный файл monthly_audit.html содержит исчерпывающую ретроспективную статистику за весь период архивации.

9. Чек-лист безопасности и бесперебойной работы GoAccess на VDS

Перед вводом аналитического сервиса в постоянную эксплуатацию сверьтесь с контрольным списком требований: