ИИ и автоматизация 13 мин чтения 2026-11-12

Автономный менеджер закладок и веб-архиватор Hoarder (Karakeep) на VDS: развертывание в Docker Compose с автотегированием через локальную Ollama, OCR-распознаванием и полнотекстовым поиском

Практическое руководство по развертыванию системы умных закладок и архивации веб-страниц Hoarder (Karakeep v0.34.1) на VDS в Docker Compose: интеграция с Meilisearch v1.56.2, автономный браузер Chrome patchright для создания снимков, автотегирование через локальную Ollama и защита данных по 152-ФЗ.

Инженерная редакция SysKit Проверено инженерами SysKit.ru

Каждый IT-специалист, разработчик, системный администратор и исследователь ежедневно сталкивается с лавиной информации: технические статьи, репозитории GitHub, ветки обсуждений на Reddit и Hacker News, архитектурные схемы и скриншоты конфигураций. Годами популярными инструментами сохранения закладок оставались облачные сервисы Pocket и Raindrop.io. Однако коммерческие SaaS-платформы несут долгосрочные риски: проект Omnivore внезапно закрылся в ноябре 2024 года, Mozilla прекратила активное развитие и закрыла сервис Pocket в июле 2025 года, а зарубежные платформы заблокировали оплату подписок российскими банковскими картами и ограничивают бесплатные аккаунты, скрывая полнотекстовый поиск по архивам страниц за платным тарифом от $4–6 в месяц. Главная же инженерная проблема классических закладок — «гниение ссылок» (Link Rot): по данным исследования Pew Research Center (май 2024), 38% веб-страниц, существовавших в 2013 году, стали полностью недоступны к 2023 году, а среди всех страниц за десятилетие 2013–2023 гг. исчезла примерно четверть (25%) — включая около 25% ссылок на новостных и правительственных ресурсах.

Hoarder (в актуальных релизах развивающийся под официальным брендом Karakeep, актуальный security-релиз v0.34.1 с патчами CVE в рантайме Node.js) — это флагманский open-source сервис нового поколения для организации закладок, заметок и долговременной архивации веб-контента. В отличие от простых каталогизаторов ссылок, Hoarder/Karakeep решает задачу сохранения информации комплексно: встроенный автономный браузер Chrome под управлением stealth-движка patchright переходит по ссылке, проходит антибот-проверки (Cloudflare / DataDome), исполняет клиентский JavaScript и сохраняет монолитную автономную копию страницы (SingleFile), PDF-документ и полноразмерный скриншот. Встроенный движок Tesseract OCR автоматически распознает любой текст на изображениях и инфографике, а поисковый сервер Meilisearch v1.56.2 мгновенно индексирует все слова страницы с поддержкой опечаток. Под капотом реализована нативная интеграция с локальными моделями через Ollama, что позволяет автоматически генерировать краткие выжимки статей и расставлять тематические теги без передачи конфиденциальных данных во внешние облака. В этом руководстве мы разберем развертывание актуального стабильного релиза в Docker Compose на виртуальном сервере VDS, настройку обратного прокси Nginx с SSL, интеграцию с локальной Ollama и организацию автоматических бэкапов в российское S3-хранилище.

1. Архитектура Hoarder: почему связка Meilisearch, Headless Chrome и SQLite побеждает устаревшие сервисы закладок

В отличие от классических утилит закладок прошлого поколения (будь то PHP-монолит Wallabag или легковесный Shiori на Go), ядро Karakeep/Hoarder построено на современном асинхронном стеке TypeScript и Next.js с компонентной архитектурой воркеров.

Критерий Облачные SaaS (Pocket / Raindrop) Классический Self-Hosted (Linkding / Wallabag) Hoarder на собственном VDS
Формат архивации Только URL или базовый текст статьи Чистый HTML-текст (без динамического JS) SingleFile HTML, Full Screenshot, PDF
Полнотекстовый поиск Только на платных тарифах ($4–6/мес) Базовый SQL LIKE или встроенный FTS Мгновенный Meilisearch v1.56.2 с толерантностью к опечаткам
OCR-распознавание картинок Отсутствует Отсутствует Встроенный Tesseract OCR для графики и мемов
ИИ-тегирование и суммаризация Закрытые внешние алгоритмы Отсутствует Нативная поддержка Ollama (локально) или OpenAI API
Приватность и 152-ФЗ Серверы в США, риск блокировки сервиса Зависит от размещения сервера 100% суверенитет: сервер и данные в РФ
База данных и бэкапы Закрытая облачная БД SQLite (Linkding) / MySQL, PostgreSQL (Wallabag) Компактный SQLite (горячий снимок в 1 файл)

Архитектура сервиса состоит из трех взаимосвязанных компонентов:

  • Основное приложение Hoarder Core (Web & Workers): Выполняет роль пользовательского интерфейса Next.js, API-шлюза и планировщика фоновых очередей. Управляет пользователями, списками тегов, заметками и сохраняет метаданные в локальную базу данных SQLite в каталоге /data/db.sqlite.
  • Автономный браузер Headless Chrome (karakeep-chrome): Запускается в изолированном контейнере на базе официального пакета google-chrome-stable (в среде Debian trixie-slim) под управлением движка patchright (стелс-форк Playwright) со встроенным блокировщиком трекеров и рекламы Ghostery. В отличие от устаревших сборок headless-shell, такой стек успешно обходит защитные экраны Cloudflare и DataDome, выжидает прохождение челленджей, выполняет ленивый скроллинг (Lazy Loading) для подгрузки динамического контента и формирует монолитный архивный SingleFile-слепок страницы с полноразмерным скриншотом и PDF.
  • Поисковый движок Meilisearch v1.56.2: Выделенный сервер полнотекстового поиска на базе Rust. Индексирует заголовки, описание, извлеченный текст статей, текст заметок и OCR-выжимки из картинок. Обеспечивает мгновенный отклик при поиске по десяткам тысяч сохраненных материалов.

💡 Совет инженера

Почему SQLite — идеальный выбор для системы персональных закладок: Отказ от тяжелых СУБД (PostgreSQL или MySQL) позволяет сэкономить 300–500 МБ оперативной памяти сервера. Вся база данных Hoarder со связями тегов, списками и пользователями хранится в единственном файле /opt/hoarder/data/db.sqlite. Это гарантирует максимальную надежность и делает создание резервной копии тривиальной задачей.

2. Системные требования к VDS и предварительная настройка окружения

Благодаря эффективной архитектуре Hoarder потребляет минимум системных ресурсов. Требования к памяти сервера зависят от того, планируете ли вы запускать инференс локальной нейросети Ollama прямо на том же сервере или будете использовать внешние API / запускать стек без ИИ-обработки.

Ресурс Базовый режим (без ИИ / внешние API) Компактный локальный ИИ (Qwen 3B / Llama 3B) Полноразмерный ИИ (Llama 8B + LLaVA Vision)
Процессор (vCPU) 1–2 vCPU (от 2.4 ГГц) 2–4 vCPU (от 3.0 ГГц) 4–8 vCPU (с поддержкой AVX2)
Оперативная память (RAM) 1–2 ГБ RAM (+ 1 ГБ Swap) 4–6 ГБ RAM 8–16 ГБ RAM (комфортный инференс без OOM)
Дисковый накопитель 25–40 ГБ NVMe 40–60 ГБ NVMe 80–120 ГБ NVMe (с учетом весов GGUF)
Операционная система Ubuntu 22.04 / 24.04 LTS x86_64, Debian 12

Подключимся к виртуальному серверу по протоколу SSH, обновим репозитории, активируем правила брандмауэра UFW, настроим файл подкачки (Swap) и инсталлируем среду Docker:

# Обновление пакетов операционной системы
sudo apt update && sudo apt upgrade -y

# Установка базовых утилит и клиента AWS CLI для бэкапов в S3
sudo apt install -y curl wget git ufw ca-certificates gnupg sqlite3 awscli

# Настройка файла подкачки на 1 ГБ (защита от OOM Killer при рендеринге тяжелых страниц в Chrome)
if ! swapon --show | grep -q 'swap'; then
    sudo fallocate -l 1G /swapfile && sudo chmod 600 /swapfile
    sudo mkswap /swapfile && sudo swapon /swapfile
    echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab
fi

# Настройка фаервола UFW: оставляем доступ только к SSH, HTTP и HTTPS
sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow 22/tcp comment 'SSH'
sudo ufw allow 80/tcp comment 'HTTP Certbot'
sudo ufw allow 443/tcp comment 'HTTPS Nginx'
sudo ufw --force enable
sudo ufw status

# Установка Docker и Compose через официальный скрипт
curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh

# Добавление пользователя в группу docker (внимание: группа docker дает root-эквивалентные права)
sudo usermod -aG docker $USER

# Создание изолированных каталогов проекта Hoarder
sudo mkdir -p /opt/hoarder/{data,meilisearch,backup,logs}
sudo chown -R $USER:$USER /opt/hoarder
cd /opt/hoarder

# Ограничение прав на директорию резервных копий
chmod 750 /opt/hoarder/backup

Перелогиньтесь в терминале (exit и повторный вход по SSH), чтобы применились права группы docker. Настройте DNS A-запись для домена сервиса (например, bookmarks.example.com), указав внешний IP-адрес вашего VDS. Проверить распространение DNS-записей можно с помощью инструмента DNS Lookup на SysKit.

3. Манифест Docker Compose: запуск Hoarder, Chrome, Meilisearch и сетевая изоляция

Для надежного промышленного запуска мы используем официальный стек проекта Karakeep (Hoarder): актуальный security-образ приложения ghcr.io/karakeep-app/karakeep:v0.34.1 (с устраненными CVE в среде Node.js), специализированный автономный браузер ghcr.io/karakeep-app/karakeep-chrome:release (на базе Debian trixie-slim с официальным пакетом Google Chrome stable под управлением движка patchright и флагом init: true для предотвращения процессов-зомби) и актуальный поисковый движок getmeili/meilisearch:v1.56.2 (включает все патчи безопасности ветки 1.55.1+).

Сгенерируем надежные криптографические ключи для подписи сессий Better Auth / NextAuth и мастер-пароль поискового ядра Meilisearch с помощью консоли или генератора надежных паролей на SysKit:

# Генерация 256-битных криптографических секретов
AUTH_SECRET=$(openssl rand -base64 36)
MEILI_KEY=$(openssl rand -base64 36)

# Создание конфигурационного файла переменных окружения
cat <<EOF > /opt/hoarder/.env
# Версия образа Karakeep / Hoarder (актуальный security-релиз v0.34.1)
KARAKEEP_VERSION=v0.34.1

# Секретный ключ Better Auth и NextAuth для подписи сессий и cookie авторизации
BETTER_AUTH_SECRET=${AUTH_SECRET}
NEXTAUTH_SECRET=${AUTH_SECRET}

# Публичный URL сервиса (строго с протоколом https)
BETTER_AUTH_URL=https://bookmarks.example.com
NEXTAUTH_URL=https://bookmarks.example.com

# Мастер-ключ аутентификации поискового движка Meilisearch
MEILI_MASTER_KEY=${MEILI_KEY}

# Директория монтирования хранилища внутри контейнера
DATA_DIR=/data

# Разрешить регистрацию (установите true после создания вашей первой учетной записи)
DISABLE_SIGNUPS=false

# Настройки фонового краулера: скачивание обложек и создание автономного снимка
CRAWLER_DOWNLOAD_BANNER_IMAGE=true
CRAWLER_FULL_PAGE_ARCHIVE=true
CRAWLER_JOB_TIMEOUT_SEC=90
EOF

# Защита файла переменных: чтение строго владельцем
chmod 600 /opt/hoarder/.env

Создадим файл манифеста /opt/hoarder/docker-compose.yml. Обратите внимание на инженерные меры безопасности: веб-порт опубликован строго на 127.0.0.1:3000 для защиты от обхода брандмауэра UFW, внутренние порты Meilisearch (7700) и Chrome (9222) полностью изолированы во внутренней сети Docker, а для каждого контейнера заданы жесткие лимиты ресурсов и ротация журналов:

services:
  # 1. Основное веб-приложение и фоновые очереди Karakeep / Hoarder
  web:
    image: ghcr.io/karakeep-app/karakeep:${KARAKEEP_VERSION:-release}
    container_name: hoarder-web
    restart: unless-stopped
    mem_limit: 1024m
    cpus: 1.5
    ports:
      # Публикация строго на 127.0.0.1: закрывает порт 3000 от прямого доступа в обход UFW
      - "127.0.0.1:3000:3000"
    extra_hosts:
      # Проброс хостового шлюза для взаимодействия с локальной Ollama
      - "host.docker.internal:host-gateway"
    env_file:
      - .env
    environment:
      MEILI_ADDR: http://meilisearch:7700
      BROWSER_WEB_URL: http://chrome:9222
      DATA_DIR: /data
    volumes:
      # Постоянное хранилище базы SQLite, скриншотов, PDF и ассетов
      - ./data:/data
    depends_on:
      meilisearch:
        condition: service_healthy
      chrome:
        condition: service_started
    healthcheck:
      # Проверка ответа веб-сервера через встроенный Node.js
      test: >
        node -e '
          require("http").get({
            host: "127.0.0.1",
            port: 3000,
            path: "/api/health"
          }, res => {
            process.exit(res.statusCode >= 200 && res.statusCode < 400 ? 0 : 1);
          }).on("error", () => process.exit(1));
        '
      interval: 30s
      timeout: 5s
      retries: 3
      start_period: 30s
    logging:
      driver: "json-file"
      options:
        max-size: "20m"
        max-file: "3"
    networks:
      - hoarder_net

  # 2. Автономный headless-браузер Karakeep Chrome для архивации и скриншотов
  chrome:
    image: ghcr.io/karakeep-app/karakeep-chrome:release
    container_name: hoarder-chrome
    restart: unless-stopped
    init: true
    command:
      - --disable-gpu
      - --disable-dev-shm-usage
      - --hide-scrollbars
      - --disable-blink-features=AutomationControlled
      - --window-size=1440,900
    mem_limit: 768m
    cpus: 1.0
    logging:
      driver: "json-file"
      options:
        max-size: "20m"
        max-file: "3"
    networks:
      - hoarder_net

  # 3. Поисковый сервер Meilisearch с мгновенным индексом
  meilisearch:
    image: getmeili/meilisearch:v1.56.2
    container_name: hoarder-meilisearch
    restart: unless-stopped
    mem_limit: 512m
    cpus: 1.0
    env_file:
      - .env
    environment:
      MEILI_NO_ANALYTICS: "true"
    volumes:
      # База поисковых индексов
      - ./meilisearch:/meili_data
    healthcheck:
      test: ["CMD-SHELL", "curl -fsS http://127.0.0.1:7700/health || wget -q --spider http://127.0.0.1:7700/health || exit 1"]
      interval: 15s
      timeout: 5s
      retries: 3
      start_period: 20s
    logging:
      driver: "json-file"
      options:
        max-size: "20m"
        max-file: "3"
    networks:
      - hoarder_net

networks:
  hoarder_net:
    driver: bridge

Для генерации индивидуальных конфигураций контейнеров воспользуйтесь интерактивным генератором Docker Compose на SysKit.

4. Настройка Nginx с SSL Let's Encrypt, WebSocket и защитой панели авторизации

Поскольку Hoarder сохраняет полные страницы сайтов с тяжелыми иллюстрациями и документами PDF, обратный прокси-сервер обязан поддерживать увеличенный лимит передачи тела запроса (до 100 МБ) и WebSocket-соединения для реалтайм-отображения статуса архивации.

Установим веб-сервер Nginx и модуль Certbot:

# Установка Nginx и плагина автоматической сертификации Let's Encrypt
sudo apt install -y nginx certbot python3-certbot-nginx

Создадим виртуальный хост /etc/nginx/sites-available/hoarder.conf:

# Ограничение частоты запросов для защиты от брутфорса авторизации
limit_req_zone $binary_remote_addr zone=hoarder_auth:10m rate=5r/s;
limit_req_zone $binary_remote_addr zone=hoarder_general:10m rate=40r/s;

server {
    listen 80;
    server_name bookmarks.example.com;

    # Максимальный размер загружаемых PDF-архивов и снимков страниц
    client_max_body_size 100M;

    # Сжатие текстовых данных для ускорения работы интерфейса
    gzip on;
    gzip_vary on;
    gzip_proxied any;
    gzip_comp_level 6;
    gzip_types text/plain text/css text/xml application/json application/javascript application/rss+xml image/svg+xml;

    # Защита эндпоинтов авторизации NextAuth
    location ~* ^/api/auth/ {
        limit_req zone=hoarder_auth burst=10 nodelay;

        proxy_pass http://127.0.0.1:3000;
        proxy_http_version 1.1;
        proxy_set_header Host $http_host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }

    # Кэширование статических ассетов веб-интерфейса Next.js
    location ~* ^/_next/static/ {
        proxy_pass http://127.0.0.1:3000;
        proxy_http_version 1.1;
        proxy_set_header Host $http_host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        expires 30d;
        add_header Cache-Control "public, max-age=2592000, immutable";
        access_log off;
    }

    # Основной шлюз с поддержкой двусторонних WebSocket-соединений
    location / {
        limit_req zone=hoarder_general burst=50 nodelay;

        proxy_pass http://127.0.0.1:3000;
        proxy_http_version 1.1;
        
        # Заголовки для корректной работы WebSocket (реалтайм-статусы краулера)
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        
        proxy_set_header Host $http_host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
        
        proxy_read_timeout 180s;
        proxy_send_timeout 180s;
    }
}

Для настройки индивидуальных правил маршрутизации воспользуйтесь утилитой конфигуратора Nginx Reverse Proxy на SysKit.

Активируем виртуальный хост, проверим корректность синтаксиса и выпустим бесплатный SSL-сертификат Let's Encrypt с автоматическим перенаправлением HTTP на HTTPS:

# Создание символической ссылки в sites-enabled
sudo ln -sf /etc/nginx/sites-available/hoarder.conf /etc/nginx/sites-enabled/

# Проверка синтаксической корректности конфигурации Nginx
sudo nginx -t

# Перезагрузка веб-сервера для применения настроек
sudo systemctl reload nginx

# Выпуск SSL-сертификата Let's Encrypt с автопродлением
sudo certbot --nginx -d bookmarks.example.com --redirect --agree-tos -m admin@example.com --non-interactive

Проверить валидность выпущенного TLS-сертификата, протоколы шифрования и цепочку доверия можно через утилиту SSL Checker на SysKit.

5. Выбор надежного VDS под медиатеку и архивацию веб-страниц

Сервер, на котором развернут Hoarder, испытывает специфический профиль нагрузок: в фоновом режиме потребление CPU минимально, однако в момент сохранения новых ссылок одновременно запускаются headless-браузер Chrome, извлечение структуры DOM, захват скриншотов высокого разрешения, OCR-обработка и индексация в Meilisearch. При выборе виртуального сервера VDS необходимо ориентироваться на три ключевых фактора:

  • Производительность дисковой подсистемы NVMe: Сохранение SingleFile HTML, изображений и PDF-документов создает интенсивный поток записи на накопитель. Высокая скорость случайных операций ввода-вывода (IOPS) на современных NVMe-дисках предотвращает «залипание» очередей краулера при пакетном сохранении сотен закладок.
  • Достаточный запас оперативной памяти: Headless Chrome при исполнении тяжелых клиентских скриптов современных веб-приложений (React, Vue, SPA) может кратковременно потреблять до 500–700 МБ RAM на процесс. Для стабильной работы без риска сбоев необходим сервер минимум с 2 ГБ RAM и настроенным файлом подкачки (Swap). Для локального инференса компактных моделей (3B) потребуется от 4–6 ГБ RAM, а для моделей 8B (Llama 3.1) и LLaVA — от 8 до 16 ГБ RAM.
  • Конфиденциальность данных и корпоративный контекст 152-ФЗ: При использовании сервиса в качестве совместной базы знаний команды, digital-агентства или компании в архивах неизбежно накапливаются рабочие материалы: клиентские заявки, скриншоты CRM-систем, аналитические выгрузки и персональные данные сотрудников. Развертывание на собственном сервере в дата-центрах РФ (уровня Tier III в Москве или Санкт-Петербурге) исключает трансграничную передачу данных в зарубежные SaaS-сервисы и обеспечивает полное соблюдение требований российского законодательства (включая ч. 5 ст. 18 закона № 152-ФЗ).

💡 Совет инженера

Для персонального использования одним пользователем с архивацией 500–1000 статей в месяц идеально подходит базовый VDS с 1–2 vCPU и 2 ГБ RAM (с добавлением 1 ГБ Swap). Для семейной базы знаний или рабочей команды из нескольких человек с десятками тысяч сохраненных документов и локальной Ollama рекомендуется выбирать конфигурацию с 4 vCPU, 8 ГБ RAM и диском от 60–80 ГБ NVMe.

* Примечание редакции: Все представленные серверные конфигурации протестированы инженерами SysKit. Блок содержит партнерские ссылки рекомендательного характера, поддерживающие развитие открытой базы знаний платформы.

Рекомендуемые VDS-провайдеры

Отказоустойчивые сервера с быстрыми NVMe и каналом до 1 Гбит/с

Выбор редакции
⚡

Timeweb Cloud — Быстрые NVMe VDS

Сверхбыстрые NVMe-накопители и высокая скорость IOPS для мгновенного сохранения снимков страниц в Chrome и соблюдения 152-ФЗ.

Конфигурация
1–2 vCPU 3.3 ГГц • 2 ГБ RAM • 25 ГБ NVMe • Трафик без лимита
Премиум Tier III
🔷

Selectel — Корпоративная надежность

Отказоустойчивая инфраструктура в Москве и Санкт-Петербурге для хранения закрытых корпоративных архивов и заметок.

Конфигурация
2 vCPU 3.4 ГГц • 4 ГБ RAM • 40 ГБ NVMe • Канал до 1 Гбит/с
Легкий старт
🟠

Beget — Простота и стабильность

Удобная панель управления, автоматическая установка Docker в 1 клик и посуточная оплата для персональной базы закладок.

Конфигурация
1 vCPU 3.0 ГГц • 2 ГБ RAM • 30 ГБ NVMe • Домен в подарок

6. Интеграция с локальной Ollama: автоматическое тегирование ссылок и OCR-распознавание без зарубежных API

Одной из ключевых киллер-фич Hoarder является глубокая автоматизация каталогизации контента. Когда вы сохраняете статью, фоновый воркер извлекает чистый текст, передает его языковой модели и автоматически генерирует краткое резюме (Summary) и релевантные теги (например, linux, docker, devops, security). Для полной независимости от зарубежных провайдеров и защиты персональных данных свяжем Hoarder с локальным сервером инференса Ollama.

Если на вашем VDS уже установлена Ollama (или вы инсталлируете её как системный сервис curl -fsSL https://ollama.com/install.sh | sh), загрузим легковесные квантованные модели, оптимизированные для работы на CPU:

# Загрузка текстовой модели для суммаризации и расстановки тегов
ollama pull llama3.1:8b

# (Для серверов с 2–4 ГБ RAM рекомендуется ультракомпактная модель)
# ollama pull qwen2.5:3b

# Загрузка мультимодальной модели зрения для анализа скриншотов и графики
ollama pull llava

Для подключения Hoarder к хостовой Ollama обновим файл конфигурации /opt/hoarder/.env, добавив параметры инференса:

# Подключение к Ollama через хостовый шлюз Docker
OLLAMA_BASE_URL=http://host.docker.internal:11434

# Используемые модели для текста и изображений
INFERENCE_TEXT_MODEL=llama3.1:8b
INFERENCE_IMAGE_MODEL=llava

# Максимальное время ожидания ответа модели (в секундах)
INFERENCE_JOB_TIMEOUT_SEC=120

# Встроенное распознавание текста на картинках (Tesseract OCR)
DISABLE_OCR=false

Перезапустим контейнеры для применения настроек: docker compose up -d. Теперь при добавлении любой статьи или скриншота сервис автоматически извлечет текст, распознает надписи на иллюстрациях и присвоит точные теги без расхода баланса API и передачи данных третьим лицам.

💡 Совет инженера

Запуск без ИИ на ультрабюджетных VDS (1 vCPU, 1 ГБ RAM): Если вам требуется только надежное сохранение страниц, чтение в режиме ридера и поиск без участия нейросетей, просто оставьте параметры OLLAMA_BASE_URL и OPENAI_API_KEY в файле .env пустыми или закомментируйте их. В этом случае Karakeep полностью пропускает этап LLM-суммаризации, сохраняя полную функциональность архивации через Chrome, OCR на Tesseract и быстрый поиск Meilisearch при минимальном потреблении памяти (всего 1–1.5 ГБ RAM).

7. Подключение расширений браузера, мобильных приложений и импорт закладок из Pocket/Raindrop/Omnivore

После завершения развертывания откройте в браузере ваш домен https://bookmarks.example.com. Создайте первую учетную запись главного администратора. Сразу после этого в целях безопасности заблокируйте открытую публичную регистрацию, отредактировав файл /opt/hoarder/.env:

# Запрет регистрации новых пользователей с улицы
sed -i 's/DISABLE_SIGNUPS=false/DISABLE_SIGNUPS=true/' /opt/hoarder/.env

# Применение изменений
docker compose up -d

Для комфортной ежедневной работы с сервисом настроим клиентские инструменты:

  • Браузерное расширение (Chrome, Firefox, Brave, Яндекс Браузер): Установите официальное расширение Hoarder. В веб-интерфейсе перейдите в Settings → API Keys, сгенерируйте персональный токен доступа и вставьте его в настройки расширения вместе с URL вашего сервера. Сохранение страниц выполняется в один клик по горячей клавише или иконке в панели.
  • Мобильные приложения для iOS и Android: Установите нативное приложение Hoarder. Поддерживается системное меню «Поделиться» (Share Sheet): любую ссылку из Telegram, Twitter или мобильного Safari можно мгновенно отправить в ваш архив.
  • Миграция архивов из Pocket, Raindrop и Omnivore: Перейдите в раздел Settings → Data & Export → Import. Загрузите экспортированный HTML-файл закладок (Netscape Bookmark Format). Фоновый воркер Hoarder автоматически поставит ссылки в очередь, скачает полные снимки страниц и выполнит индексацию.

8. Автоматическое резервное копирование базы SQLite и архивов в российское S3-хранилище

Поскольку Hoarder хранит всю реляционную структуру в SQLite, мы можем создавать горячий консистентный снимок базы без остановки контейнеров с помощью встроенной команды SQLite .backup. Пользовательские снимки страниц (SingleFile), оригиналы скриншотов и PDF-файлы хранятся в каталоге /opt/hoarder/data.

Создадим производственный скрипт резервного копирования /opt/hoarder/backup/backup.sh:

#!/usr/bin/env bash
set -Eeuo pipefail

# Подгрузка переменных окружения
if [[ -f /opt/hoarder/.env ]]; then
    set -a
    source /opt/hoarder/.env
    set +a
fi

BACKUP_DIR="/opt/hoarder/backup"
TIMESTAMP=$(date +"%Y%m%d_%H%M%S")
DB_BACKUP_FILE="${BACKUP_DIR}/hoarder_db_${TIMESTAMP}.sqlite"
DATA_BACKUP_FILE="${BACKUP_DIR}/hoarder_data_${TIMESTAMP}.tar.gz"

# Опциональные уведомления в Telegram
TELEGRAM_BOT_TOKEN="${TELEGRAM_BOT_TOKEN:-}"
TELEGRAM_CHAT_ID="${TELEGRAM_CHAT_ID:-}"

# Параметры совместимого отечественного S3-хранилища (Timeweb Cloud, Selectel)
S3_ENDPOINT="${S3_ENDPOINT:-https://s3.timeweb.cloud}"
S3_BUCKET="${S3_BUCKET:-my-hoarder-backups}"

send_telegram() {
    local message="$1"
    if [[ -n "${TELEGRAM_BOT_TOKEN}" && -n "${TELEGRAM_CHAT_ID}" ]]; then
        curl -s -X POST "https://api.telegram.org/bot${TELEGRAM_BOT_TOKEN}/sendMessage" \
            --data-urlencode "chat_id=${TELEGRAM_CHAT_ID}" \
            --data-urlencode "text=${message}" > /dev/null || true
    fi
}

echo "=== Запуск резервного копирования Hoarder: ${TIMESTAMP} ==="

# 1. Горячий консистентный снимок базы данных SQLite без блокировки читателей
echo "Создание горячего дампа SQLite..."
sqlite3 /opt/hoarder/data/db.sqlite ".backup '${DB_BACKUP_FILE}'"
gzip -9 "${DB_BACKUP_FILE}"
DB_ARCHIVE="${DB_BACKUP_FILE}.gz"

# 2. Архивация сохраненных страниц, превью и ассетов
echo "Архивация медиатеки и снимков страниц..."
tar --warning=no-file-changed -czf "${DATA_BACKUP_FILE}" -C "/opt/hoarder" data

chmod 600 "${DB_ARCHIVE}" "${DATA_BACKUP_FILE}"

DB_SIZE=$(du -sh "${DB_ARCHIVE}" | cut -f1)
DATA_SIZE=$(du -sh "${DATA_BACKUP_FILE}" | cut -f1)

# 3. Синхронизация с защищенным S3-хранилищем
if command -v aws &> /dev/null && [[ -n "${S3_BUCKET}" ]]; then
    echo "Отправка архивов в S3..."
    aws --endpoint-url="${S3_ENDPOINT}" s3 cp "${DB_ARCHIVE}" "s3://${S3_BUCKET}/hoarder/db/$(basename "${DB_ARCHIVE}")"
    aws --endpoint-url="${S3_ENDPOINT}" s3 cp "${DATA_BACKUP_FILE}" "s3://${S3_BUCKET}/hoarder/data/$(basename "${DATA_BACKUP_FILE}")"
fi

# 4. Локальная ротация архивов (хранение за последние 7 дней)
find "${BACKUP_DIR}" -type f -name "hoarder_db_*.sqlite.gz" -mtime +7 -delete
find "${BACKUP_DIR}" -type f -name "hoarder_data_*.tar.gz" -mtime +7 -delete

echo "Резервное копирование успешно завершено."

# 5. Оповещение администратора в Telegram
MESSAGE="✅ Hoarder Backup Успешно
Сервер: bookmarks.example.com
Дамп SQLite: $(basename "${DB_ARCHIVE}") (${DB_SIZE})
Медиа-архив: $(basename "${DATA_BACKUP_FILE}") (${DATA_SIZE})
Хранилище: S3 (${S3_BUCKET})
Дата: $(date '+%Y-%m-%d %H:%M:%S')"

send_telegram "${MESSAGE}"

Назначим права на скрипт и настроим его регулярный запуск в планировщике crontab каждую ночь в 03:45:

# Назначение прав на исполнение скрипта
chmod 750 /opt/hoarder/backup/backup.sh

# Добавление задачи в планировщик cron
(crontab -l 2>/dev/null; echo "45 3 * * * /opt/hoarder/backup/backup.sh >> /opt/hoarder/logs/backup.log 2>&1") | crontab -

Для создания гибких графиков запуска воспользуйтесь утилитой генератора выражений Crontab на SysKit.

💡 Совет инженера

Автоматическая ротация объектов в S3 (Lifecycle Rule): Чтобы архивы в облачном бакете не накапливались бессрочно, настройте правило автоматического удаления файлов старше 30 дней:

# Создание манифеста ротации архивов старше 30 дней
cat <<'EOF' > /opt/hoarder/backup/s3_lifecycle.json
{
  "Rules": [
    {
      "ID": "ExpireHoarderBackups30Days",
      "Status": "Enabled",
      "Filter": { "Prefix": "hoarder/" },
      "Expiration": { "Days": 30 }
    }
  ]
}
EOF

# Применение правила жизненного цикла к бакету
aws --endpoint-url="https://s3.timeweb.cloud" s3api put-bucket-lifecycle-configuration \
    --bucket "my-hoarder-backups" \
    --lifecycle-configuration file:///opt/hoarder/backup/s3_lifecycle.json

Восстановление данных из резервной копии (Disaster Recovery)

Обратите внимание: каталог индекса /opt/hoarder/meilisearch намеренно исключён из резервных копий, так как является производной структурой данных. После восстановления db.sqlite и data/ на новом сервере Karakeep автоматически перестроит поисковый индекс (при необходимости полную переиндексацию можно принудительно запустить в панели администратора).

При необходимости восстановления базы закладок на новом сервере или после аварии выполните следующую последовательность команд:

# 1. Остановка контейнеров Hoarder
cd /opt/hoarder && docker compose stop web

# 2. Распаковка архива базы данных SQLite
gunzip -c /opt/hoarder/backup/hoarder_db_YYYYMMDD_HHMMSS.sqlite.gz > /opt/hoarder/data/db.sqlite

# 3. Восстановление архива сохраненных страниц и изображений
tar -xzf /opt/hoarder/backup/hoarder_data_YYYYMMDD_HHMMSS.tar.gz -C /opt/hoarder

# 4. Запуск приложения и проверка целостности
docker compose start web
docker compose ps

9. Инженерный чек-лист проверки готовности и регламент обновления

Перед активным сохранением рабочей информации проверьте готовность инфраструктурных узлов:

📋 Чек-лист готовности Hoarder к production

  • Сетевая безопасность: Порт 3000 опубликован строго на 127.0.0.1, прямой доступ к портам Meilisearch (7700) и Chrome (9222) из внешнего интернета закрыт.
  • Проверка контейнеров: Службы hoarder-web, hoarder-chrome и hoarder-meilisearch находятся в статусе Up (healthy) по команде docker compose ps.
  • Сертификат SSL: HTTPS активен, настроен автоматический редирект с HTTP, проверка через SSL Checker подтверждает отсутствие ошибок смешанного контента.
  • Инференс ИИ и OCR: При сохранении текстовой ссылки воркер успешно генерирует теги через Ollama, а при загрузке картинки с текстом запускается Tesseract OCR.
  • Защита регистрации: В файле .env установлен параметр DISABLE_SIGNUPS=true, регистрация сторонних пользователей закрыта.
  • Тест резервного копирования: Скрипт /opt/hoarder/backup/backup.sh выполнен вручную, снимок SQLite создан без блокировки базы и синхронизирован с S3.
  • Регламент обновления: Для планового обновления образов используйте команду: cd /opt/hoarder && docker compose pull && docker compose up -d.

Разверните автономный центр знаний на скоростном VDS

Архивируйте важные веб-страницы в один клик, используйте локальный ИИ для умного тегирования и храните персональные закладки с гарантией сохранности на защищенных NVMe VDS в дата-центрах РФ.

Вопросы и ответы (FAQ)

Популярные вопросы вебмастеров и сисадминов по данной теме

Чем Hoarder (Karakeep) принципиально отличается от Linkwarden, Wallabag или Shiori?
В отличие от классических решений (будь то PHP-монолит Wallabag или легковесный Shiori на Go), Karakeep сохраняет не просто текстовую выжимку, а полноценный монолитный архив страницы (SingleFile HTML со всеми встроенными стилями и картинками), полноразмерный скриншот и PDF с помощью автономного браузера Google Chrome под управлением stealth-движка patchright. Кроме того, система из коробки оснащена выделенным поисковым сервером Meilisearch v1.56.2 с опечаткоустойчивым индексом, встроенным OCR (Tesseract) для распознавания текста на иллюстрациях и нативной интеграцией с Ollama для автоматической расстановки тегов.
Можно ли использовать Hoarder (Karakeep) без локальной нейросети Ollama?
Да. Чтобы запустить сервис полностью без языковых моделей, достаточно оставить параметры OLLAMA_BASE_URL и OPENAI_API_KEY в файле .env пустыми или не задавать их. При этом весь остальной функционал — архивация веб-страниц через Chrome (SingleFile HTML, полноразмерные скриншоты, PDF), распознавание текста на картинках через Tesseract OCR и полнотекстовый поиск в Meilisearch — продолжает работать на полной скорости, а потребление памяти укладывается всего в 1–1.5 ГБ RAM.
Как развертывание на VDS связано с требованиями 152-ФЗ о защите данных?
При использовании сервиса в качестве корпоративной или командной базы знаний (где сохраняются клиентские заявки, аналитические выгрузки, скриншоты CRM и учетные записи сотрудников) все данные физически размещаются на вашем собственном VDS в российском дата-центре (Москва/СПб). Это полностью исключает трансграничную передачу конфиденциальной информации в зарубежные SaaS-сервисы и гарантирует соблюдение требований ч. 5 ст. 18 закона № 152-ФЗ.
Как перенести существующие закладки из Pocket, Raindrop.io или браузера Chrome?
В исходном сервисе экспортируйте данные в формате HTML (Netscape Bookmark Format). В панели Hoarder откройте раздел Settings → Data & Export → Import и загрузите файл. Фоновый планировщик Karakeep последовательно поставит каждую ссылку в очередь, запустит headless-браузер для создания локального архива и проиндексирует контент.

Читайте также в блоге SysKit

Смежные руководства и полезные технические статьи