Резервное копирование по старинке через скрипты с tar.gz и rsync на внешние диски в 2026 году обходится слишком дорого: гигабайты одинаковых неизменяемых библиотек и логов дублируются день за днём, место в S3 тает на глазах, а передача архивов без сквозного клиентского шифрования создаёт прямой риск утечки данных. Kopia решает эти проблемы за счёт блочной контентно-зависимой дедупликации CDC на базе скользящего хеширования Buzhash, сквозного шифрования на стороне клиента (AES-256-GCM или ChaCha20-Poly1305) и прямой потоковой компрессии Zstandard в объектные хранилища S3. В этом инженерном руководстве разбираем, как развернуть автономный Kopia Server на VDS под управлением Docker Compose, настроить безопасный Nginx Reverse Proxy с SSL, связать его с российскими S3-хранилищами и автоматизировать снимки файлов и СУБД с ротацией GFS.
Архитектура Kopia: алгоритмы сплиттеров (Buzhash/Rabin-Karp), шифрование на клиенте и компрессия Zstandard
Kopia (открытый проект под лицензией Apache 2.0 с более чем 14 500 звёзд на GitHub, написанный на Go) проектировалась как высокопроизводительная и отказоустойчивая замена устаревшим утилитам резервного копирования. В отличие от монолитных архиваторов, Kopia разбивает входящий поток данных на непересекающиеся блоки (chunks) переменного размера с помощью механизма Content-Defined Chunking (CDC). За вычисление границ блоков в Kopia отвечают динамические сплиттеры (splitters). По умолчанию Kopia использует циклический скользящий хеш Buzhash (профиль DYNAMIC-4M-BUZHASH), а также поддерживает полиномиальный хеш Rabin-Karp (DYNAMIC-4M-RABINKARP) и блочные сплиттеры фиксированного размера (FIXED).
В отличие от фиксированного разбиения, скользящее окно Buzhash определяет границы чанков на основе содержимого самих данных: если в середине 10-гигабайтного файла виртуальной машины или базы данных изменилось всего 50 килобайт, Kopia сдвигает границы, сохраняет в репозиторий только один вновь появившийся дельта-блок, а остальные 99.9% блоков переиспользуются без повторной передачи по сети.
Ключевые архитектурные принципы Kopia:
- Контентно-зависимая дедупликация (Buzhash CDC Splitter): Алгоритм Buzhash вычисляет скользящий хеш байтового потока. Граница блока фиксируется в момент, когда младшие биты хеша совпадают с маской целевого размера (в среднем 4 МБ). Одинаковые фрагменты файлов, даже находящиеся в разных каталогах, контейнерах или переименованные пользователем, сохраняются в репозитории ровно один раз.
- Сквозное шифрование (Zero-Knowledge Encryption): Все данные шифруются на клиенте до отправки по сети. По умолчанию используется шифрование
AES256-GCM-HMAC-SHA256с аппаратным ускорением Intel AES-NI илиCHACHA20-POLY1305-HMAC-SHA256для серверов на базе ARM. Владелец S3-хранилища видит только зашифрованные блобы и не может прочесть имена файлов, дерево каталогов или метаданные. - Сжатие в реальном времени: Блоки сжимаются перед шифрованием современными алгоритмами (Zstandard
zstd-fastestилиs2-default), что существенно сокращает исходящий трафик и объём занимаемого бакета. - Kopia Server и Web UI: Встроенный сервер Kopia предоставляет удобный графический интерфейс управления снимками, расписаниями и политиками удержания через защищённый веб-браузер, а также обслуживает другие серверы и рабочие станции по протоколу gRPC.
Оценить производительность сплиттеров на процессоре вашего сервера можно встроенным бенчмарком Kopia:
# Тестирование скорости алгоритмов разделения на блоки (Buzhash vs Rabin-Karp)
sudo docker run --rm kopia/kopia:0.23.1 benchmark splitter
Бенчмарк наглядно демонстрирует, что Buzhash на x86_64 обеспечивает скорость обработки свыше 1.5–2 ГБ/с на процессорное ядро, существенно превосходя Rabin-Karp при аналогичном качестве дедупликации.
| Критерий | Скрипты Tar + Cron + S3 | Borg Backup | Kopia Server (Go) |
|---|---|---|---|
| Дедупликация | Отсутствует (архивы дублируются целиком) | Блочная CDC (Buzhash на Python) | Блочная CDC (Buzhash по умолчанию / Rabin-Karp на Go) |
| Нативная поддержка S3 | Требует AWS CLI / s3cmd / rclone | Нет (требует SSH-сервер или BorgBase) | Да, нативный драйвер S3 API из коробки |
| Шифрование | Ручное через GPG / OpenSSL | AES-CTR-256 / Blake2b | AES-256-GCM / ChaCha20-Poly1305 |
| Веб-интерфейс | Отсутствует | Только сторонние надстройки | Встроенный Web UI + gRPC API |
| Потребление памяти | Низкое | Среднее (Python, растёт на терабайтах) | 150–400 МБ RAM в простое (динамический кэш индексов) |
Для детального анализа сетевой безопасности рекомендуем также ознакомиться с нашими практическими руководствами по автоматизации бэкапов VDS в S3 с Telegram-уведомлениями и развертыванию распределённого S3-хранилища Garage на своих серверах.
Подготовка VDS и выбор S3-хранилища
Для размещения Kopia Server отлично подойдёт виртуальный сервер под управлением Ubuntu 24.04 LTS или Debian 12. Поскольку Kopia активно манипулирует локальным кэшем индексов и блобов для ускорения расчёта дифференциальных снимков, рекомендуется использовать серверы с быстрыми накопителями NVMe. Для тестирования портов и валидации сетевой доступности всегда пригодится утилита проверки открытых портов онлайн, а для проверки сертификатов — сканер SSL-сертификатов.
Перед установкой подготовьте системные пакеты и среду Docker:
# Обновление пакетов и установка базовых утилит
sudo apt-get update && sudo apt-get upgrade -y
sudo apt-get install -y curl ca-certificates gnupg lsb-release ufw
# Установка Docker и Docker Compose Plugin (если ещё не установлены)
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
# Включение сервиса Docker
sudo systemctl enable --now docker
Для создания репозитория бэкапов подготовьте S3-бакет у надёжного российского облачного провайдера. Российские S3 обеспечивают минимальные задержки передачи трафика, соответствие 152-ФЗ и оплату без ограничений:
- Timeweb Cloud S3: Endpoint
s3.timeweb.cloud, регионru-1. Отличается гибкой ценой за гигабайт и быстрым интерфейсом управления ключами доступа. - Selectel S3 (Объектное хранилище): Endpoint
s3.ru-1.storage.selcloud.ru, регионru-1. Сертификация Tier III, высокая пропускная способность и поддержка версионирования объектов. - Beget S3: Endpoint
s3.beget.com. Простое создание бакетов и генерация API-ключей в единой панели хостинга.
https://<endpoint>/<bucket>/). В Selectel и Timeweb Cloud path-style поддерживается штатно, однако при создании бакета в панели управления облаком убедитесь, что не установлены политики, принудительно требующие virtual-hosted поддоменов.
В панели выбранного провайдера создайте приватный бакет (например, syskit-backups-repo) и сгенерируйте пару ключей доступа: Access Key ID и Secret Access Key. Обязательно сохраните их в надёжном менеджере паролей.
Манифест Docker Compose для Kopia Server
Для надёжного управления сервисом развернём Kopia Server в изолированном контейнере Docker. Все служебные данные (конфигурации репозитория и локальный кэш блобов) выносятся на постоянные тома на хосте, а защищаемые каталоги с сайтами и дампами СУБД монтируются строго в режиме только для чтения (:ro), что полностью исключает случайную модификацию боевых файлов бэкап-агентом.
Создайте рабочую директорию проекта и сгенерируйте файл с переменными окружения:
sudo mkdir -p /opt/kopia/{config,cache} /opt/backups/dumps
cd /opt/kopia
# Генерация надёжного пароля администратора
ADMIN_PASS=$(openssl rand -hex 16)
echo "Сгенерирован пароль Kopia: $ADMIN_PASS"
# Создание изолированного .env файла
cat <<EOF | sudo tee /opt/kopia/.env > /dev/null
KOPIA_SERVER_USER=kopia-admin
KOPIA_SERVER_PASSWORD=${ADMIN_PASS}
EOF
# Защита прав доступа к учетным данным
sudo chmod 600 /opt/kopia/.env
Для генерации сложных случайных паролей и ключей шифрования вы можете воспользоваться нашим онлайн генератором надежных паролей без передачи данных на сервер.
Создайте манифест /opt/kopia/docker-compose.yml:
services:
kopia-server:
image: kopia/kopia:0.23.1
container_name: kopia-server
restart: unless-stopped
command:
- server
- start
- --address=0.0.0.0:51515
- --insecure
- --server-username=${KOPIA_SERVER_USER}
- --server-password=${KOPIA_SERVER_PASSWORD}
ports:
- "127.0.0.1:51515:51515"
environment:
- KOPIA_CHECK_FOR_UPDATES=false
- TZ=Europe/Moscow
volumes:
- ./config:/app/config
- ./cache:/app/cache
# Каталоги источников бэкапа монтируются в режиме :ro (только для чтения)
- /var/www:/data/source_www:ro
- /opt/backups/dumps:/data/source_db_dumps:ro
mem_limit: 1024m
cpus: 1.5
--insecure в параметрах запуска Kopia отключает встроенный самоподписанный SSL-сертификат Kopia, поскольку порт привязан строго к интерфейсу локальной петли 127.0.0.1:51515. Завершение TLS и защиту трафика по стандартам HTTPS берёт на себя внешний веб-сервер Nginx с бесплатным сертификатом Let's Encrypt. Лимиты памяти mem_limit и процессора cpus поддерживаются автономным Docker Compose v2 по спецификации Compose Spec без необходимости развертывания Swarm-кластера.
Запустите сервис и проверьте статус контейнера:
cd /opt/kopia
sudo docker compose up -d
sudo docker compose ps
sudo docker compose logs --tail=50 kopia-server
Настройка Nginx Reverse Proxy и выпуск бесплатного SSL-сертификата
Для безопасного доступа к графической панели Kopia из любой точки мира через доверенный домен (например, kopia.example.com) настроим Nginx в качестве реверс-прокси. Веб-интерфейс Kopia активно использует потоковую передачу данных и WebSocket для обновления прогресса снимков в реальном времени, поэтому крайне важно отключить лимит размера клиентского тела запроса директивой client_max_body_size 0; и настроить корректные таймауты проксирования.
Если вам требуется быстро подготовить конфигурацию обратного прокси под другие сервисы, используйте наш интерактивный генератор Nginx Reverse Proxy конфигураций.
Создайте конфигурационный файл виртуального хоста /etc/nginx/sites-available/kopia.conf:
map $http_upgrade $connection_upgrade {
default upgrade;
'' close;
}
server {
listen 80;
server_name kopia.example.com;
# Запрет доступа к скрытым системным файлам
location ~ /\. {
deny all;
}
location / {
proxy_pass http://127.0.0.1:51515;
proxy_http_version 1.1;
# Поддержка WebSocket и потоковых соединений
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection $connection_upgrade;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
# Отключение буферизации для больших потоков резервных копий
proxy_buffering off;
proxy_request_buffering off;
client_max_body_size 0;
# Увеличенные таймауты для тяжелых операций верификации
proxy_connect_timeout 60s;
proxy_send_timeout 600s;
proxy_read_timeout 600s;
}
}
Активируйте сайт и выпустите SSL-сертификат через утилиту Certbot:
# Проверка конфигурации Nginx и создание симлинка
sudo ln -sf /etc/nginx/sites-available/kopia.conf /etc/nginx/sites-enabled/
sudo nginx -t && sudo systemctl reload nginx
# Выпуск SSL-сертификата Let's Encrypt с автоматическим редиректом на HTTPS
sudo apt-get install -y certbot python3-certbot-nginx
sudo certbot --nginx -d kopia.example.com --non-interactive --agree-tos -m admin@example.com --redirect
# Проверка автообновления сертификата
sudo certbot renew --dry-run
Системные требования к VDS и выбор конфигурации
Kopia написана на скомпилированном языке Go, поэтому она чрезвычайно бережно относится к вычислительным ресурсам по сравнению с решениями на Java или Python. Однако алгоритмы блочного чанкования Buzhash/Rabin-Karp и криптографические преобразования чувствительны к скорости дисковой подсистемы и наличию современных процессорных инструкций.
Рекомендуемые технические параметры сервера:
- Процессор (vCPU): 1–2 ядра с поддержкой инструкций Intel AES-NI (для аппаратного шифрования AES-256 со скоростью свыше 1 ГБ/с на ядро).
- Оперативная память (RAM): Минимум 1 ГБ (базовый запуск), комфортно 2–4 ГБ RAM при обслуживании репозиториев объёмом свыше 500 ГБ (для хранения индексов блобов в памяти).
- Накопитель (Диск): От 20–30 ГБ быстрого NVMe. Локальный кэш Kopia (папка
./cache) обычно занимает около 1–2% от общего объёма резервируемых данных, что обеспечивает мгновенное сравнение хешей без обращения к S3 по сети. - Сетевой канал: от 100 Мбит/с без ограничений трафика, так как исходная синхронизация больших объемов потребует активной передачи данных в объектное хранилище.
Рекомендуемые VDS-провайдеры
Отказоустойчивые сервера с быстрыми NVMe и каналом до 1 Гбит/с
Timeweb Cloud — Быстрые VDS с интеграцией S3
Высокоскоростная внутренняя сеть до объектных S3-хранилищ, стабильный безлимитный трафик и почасовая оплата.
Selectel — Корпоративная инфраструктура и S3
Надежное хранилище S3 с аттестацией по 152-ФЗ (УЗ-1), изоляция сетевых контуров и отказоустойчивые ЦОД в Москве и СПб.
Beget — Серверы и хранилище для проектов
Интуитивная панель управления, моментальное создание S3-бакетов и удобный доступ для системных администраторов.
Инициализация репозитория в российском S3 и выбор алгоритмов
После запуска контейнера и настройки Nginx откройте в браузере адрес https://kopia.example.com. Введите сгенерированные логин kopia-admin и пароль из файла .env. Вы увидите окно первичной инициализации репозитория.
Kopia поддерживает подключение как через визуальный интерфейс, так и через терминал CLI. Для подключения к российскому S3 выберите пункт S3-Compatible Storage и укажите параметры:
- Endpoint: адрес вашего провайдера (например,
s3.timeweb.cloudилиs3.ru-1.storage.selcloud.ru). - Bucket Name: имя созданного бакета (например,
syskit-backups-repo). - Access Key ID & Secret Access Key: ключи авторизации из панели облака.
- Repository Password (Мастер-пароль): главный криптографический ключ, которым шифруются все метаданные и файлы. Обязательно сохраните его в оффлайн-сейфе или менеджере паролей: если мастер-пароль будет утерян, восстановить данные из S3 невозможно математически!
Для инициализации репозитория напрямую через консоль выполните команду внутри запущенного контейнера:
sudo docker exec -it kopia-server kopia repository create s3 \
--bucket="syskit-backups-repo" \
--endpoint="s3.timeweb.cloud" \
--access-key="ВАШ_ACCESS_KEY" \
--secret-access-key="ВАШ_SECRET_KEY" \
--encryption="AES256-GCM-HMAC-SHA256" \
--compression="zstd-fastest"
Почему мы рекомендуем связку AES256-GCM-HMAC-SHA256 + zstd-fastest:
- AES-256-GCM аппаратно поддерживается всеми процессорами x86_64 последних 12 лет через инструкции Intel/AMD AES-NI. Шифрование и проверка целостности выполняются практически «прозрачно» для CPU без просадки общей производительности VDS.
- Zstandard (zstd-fastest) даёт отличную скорость потокового сжатия при минимальной утилизации CPU. Вы можете протестировать поддерживаемые алгоритмы прямо на сервере командой:
# Тестирование пропускной способности и степени сжатия алгоритмов Kopia
sudo docker run --rm kopia/kopia:0.23.1 benchmark compression
Для текстовых конфигураций, журналов и SQL-дампов профиль zstd-fastest обеспечивает сжатие до 65–75% на скорости 300+ МБ/с на ядро. Для уже сжатых данных (JPEG, видео, архивы) Kopia автоматически определяет несжимаемые блоки и сохраняет их напрямую без потери процессорных циклов.
Политики ротации GFS и создание консистентных снимков баз данных
Для надежного хранения резервных копий применяется классическая трехуровневая схема ротации GFS (Grandfather-Father-Son / Дед-Отец-Сын). Благодаря блочной CDC-дедупликации Buzhash хранение десятков снимков не требует кратного увеличения дискового пространства в S3 — хранятся только ссылки на уникальные блоки данных.
В веб-интерфейсе Kopia перейдите в раздел Policies или настройте параметры удержания командой в терминале:
# Настройка политики удержания GFS для каталога веб-проектов
sudo docker exec -it kopia-server kopia policy set /data/source_www \
--keep-latest 10 \
--keep-hourly 24 \
--keep-daily 7 \
--keep-weekly 4 \
--keep-monthly 12 \
--keep-annual 2 \
--compression="zstd-fastest"
Такая конфигурация гарантирует:
- Возможность откатиться на любой час за последние сутки (24 снимка).
- Ежедневные снимки за прошедшую неделю (7 дней).
- Еженедельные контрольные срезы за прошлый месяц (4 недели).
- Ежемесячные архивные снимки за последний год (12 месяцев).
Резервное копирование PostgreSQL и MySQL: предварительные хуки (Pre-backup)
Снимать бэкап сырых файлов баз данных из каталогов /var/lib/mysql или /var/lib/postgresql/data «на лету» категорически запрещено: незавершённые транзакции приведут к повреждению таблиц. Перед созданием снимка необходимо сформировать консистентный логический дамп в staging-каталог /opt/backups/dumps, который мы смонтировали в контейнер Kopia под именем /data/source_db_dumps.
Создайте скрипт создания дампов /opt/backups/make_dumps.sh:
#!/usr/bin/env bash
set -euo pipefail
DUMP_DIR="/opt/backups/dumps"
mkdir -p "${DUMP_DIR}"
# 1. Горячий дамп PostgreSQL (сжатый бинарный формат)
# Пароль читается из защищенного файла ~/.pgpass или переменных окружения
if command -v pg_dump >/dev/null 2>&1; then
pg_dump -h 127.0.0.1 -U postgres -Fc -d app_production -f "${DUMP_DIR}/app_postgres.dump"
fi
# 2. Горячий дамп MySQL / MariaDB с согласованностью транзакций
# Данные авторизации передаются через безопасный изолированный конфиг
if command -v mysqldump >/dev/null 2>&1; then
mysqldump --defaults-file=/opt/backups/.mysql_backup.cnf \
--single-transaction --quick --routines --triggers app_db > "${DUMP_DIR}/app_mysql.sql"
fi
# Выставляем права, разрешающие чтение процессу в контейнере Kopia
chmod 644 ${DUMP_DIR}/*
Сделайте скрипт исполняемым и добавьте его в системный cron хоста за 10 минут до планового снимка Kopia:
sudo chmod +x /opt/backups/make_dumps.sh
# Вызов дампа каждый день в 02:50 ночи перед снятием снимка в 03:00
echo "50 2 * * * root /opt/backups/make_dumps.sh > /var/log/backup_dumps.log 2>&1" | sudo tee /etc/cron.d/db_backups
Восстановление данных в один клик и Telegram-уведомления
Система резервного копирования полезна ровно настолько, насколько быстро и гарантированно она позволяет восстановить работоспособность сервиса после сбоя.
Интерактивное восстановление через веб-интерфейс
В веб-панели Kopia в разделе Snapshots представлена наглядная иерархическая хронология всех резервных копий. Вы можете:
- Раскрыть любой исторический срез и перемещаться по дереву каталогов вплоть до отдельного конфигурационного файла.
- Воспользоваться строкой мгновенного поиска для нахождения случайно удаленного документа или таблицы.
- Нажать кнопку Download рядом с любым файлом для его прямого скачивания через браузер без остановки сервисов.
- Инициировать восстановление всей директории в указанную целевую папку.
Для восстановления снимка из терминала выполните:
# Просмотр списка доступных снимков
sudo docker exec -it kopia-server kopia snapshot list /data/source_www
# Восстановление снимка по его идентификатору в целевой каталог
sudo docker exec -it kopia-server kopia snapshot restore <ИДЕНТИФИКАТОР_СНИМКА> /data/source_www/restore_target
Настройка оповещений в Telegram о статусе резервного копирования
Чтобы быть уверенным, что ночные бэкапы завершились без ошибок, настройте отправку статуса в Telegram. Создайте скрипт проверки /opt/kopia/notify_telegram.sh:
#!/usr/bin/env bash
TELEGRAM_BOT_TOKEN="ВАШ_TELEGRAM_BOT_TOKEN"
TELEGRAM_CHAT_ID="ВАШ_CHAT_ID"
# Получение статуса последнего снимка из Kopia
LATEST_SNAP=$(sudo docker exec kopia-server kopia snapshot list --json /data/source_www | grep -o '"id":"[^"]*' | head -n 1 | cut -d'"' -f4)
if [ -n "$LATEST_SNAP" ]; then
MESSAGE=$(cat <<EOF
✅ *Резервная копия SysKit создана успешно!*
Снимок: \`${LATEST_SNAP}\`
Репозиторий: S3 Cloud
Статус: Завершено без ошибок.
EOF
)
else
MESSAGE="🚨 *Внимание! Ошибка бэкапа SysKit!*
Не удалось обнаружить свежий снимок Kopia Server."
fi
curl -s -X POST "https://api.telegram.org/bot${TELEGRAM_BOT_TOKEN}/sendMessage" \
-d "chat_id=${TELEGRAM_CHAT_ID}" \
-d "parse_mode=Markdown" \
--data-urlencode "text=${MESSAGE}" > /dev/null
Сделайте скрипт исполняемым и настройте его автоматический запуск каждое утро после завершения планового окна резервного копирования:
sudo chmod +x /opt/kopia/notify_telegram.sh
# Проверка и отправка уведомления в Telegram ежедневно в 03:30
echo "30 3 * * * root /opt/kopia/notify_telegram.sh > /dev/null 2>&1" | sudo tee /etc/cron.d/kopia_notify
Чек-лист безопасного бэкапа на VDS
Для проверки отказоустойчивости вашей инфраструктуры используйте контрольный чек-лист инженеров SysKit:
- Изоляция портов: Порт Kopia Server (51515) привязан строго к
127.0.0.1и защищён от прямого доступа извне через Nginx и брандмауэр UFW. - Мастер-пароль вне сервера: Ключ шифрования репозитория сохранён в оффлайн-сейфе компании и не хранится в открытом виде в текстовых логах.
- Монтирование в режиме Read-Only: Все исходные директории проектов смонтированы в Docker с суффиксом
:ro, защищая боевой продакшен от случайного повреждения. - Консистентность баз данных: Создаются горячие логические дампы PostgreSQL и MySQL перед снятием файлового снимка.
- Сжатие Zstandard: Алгоритм
zstd-fastestвключён для снижения объёма бакета и исходящего интернет-трафика. - Политика ротации GFS: Настроено хранение почасовых, суточных, недельных и месячных снимков с автоматической очисткой старых дельта-блоков.
- Быстрый кэш на NVMe: Папка
./cacheразмещена на быстром SSD/NVMe для мгновенного поиска скользящих хешей Buzhash и локальных индексов блобов. - Мониторинг и алертинг: Ошибки создания снимков немедленно отправляются в Telegram-чат администратора.
- Регулярная тренировка восстановления (Disaster Recovery): Раз в квартал проводится тестовое развёртывание сайта и базы из случайного исторического снимка.
- Географическое разделение: Репозиторий S3 размещен в дата-центре, территориально изолированном от основного боевого VDS-сервера.