Приватный ИИ-ассистент для магазина: Open WebUI и Ollama на VDS в Docker Compose

Владелец небольшого магазина отвечает на одни и те же вопросы: «есть ли в наличии», «сколько идёт доставка», «можно ли вернуть». Менеджер переписывается в трёх каналах, прайс живёт в Excel, а регламенты — в голове. Зарубежный чат-ассистент решает часть задач, но требует валютной карты и забирает переписку клиентов на чужой сервер.

Ниже — рабочая альтернатива: ассистент, который живёт на вашем VDS, знает ваш прайс и условия доставки, отвечает сотрудникам и не отправляет данные клиентов за границу. Всё собирается из трёх контейнеров и запускается за вечер.

Материал рассчитан на инженера-практика и владельца бизнеса «один за всех»: минимум теории, готовая конфигурация, лимиты ресурсов и разбор грабель, на которые наступают при первом запуске LLM на CPU.

1. Зачем магазину ассистент на своём сервере

Три сценария, которые окупают сервер

• Ответы по прайсу и условиям. Сотрудник спрашивает: «что ответить клиенту про возврат брака» — ассистент находит пункт в вашем регламенте и формулирует ответ. Без поиска по папкам и звонков.
• Черновики для поддержки. Входящее сообщение превращается в вежливый ответ, который менеджер только правит. Скорость ответа падает с 15 минут до минуты.
• Обучение стажёра. Новый сотрудник задаёт вопросы по процессам и получает ответы из вашей же базы знаний, а не из чужих статей.

Сколько это стоит и когда облако выгоднее

Свой ассистент — это не бесплатно: вы платите за VDS (обычно от 400–800 ₽ в месяц за конфигурацию с 4 ГБ RAM), электричество не считаем, зато нет подписки на каждого сотрудника и нет лимита сообщений. Ассистент работает круглосуточно и не зависит от курса.

Облачная подписка остаётся разумным выбором, если нужна топовая модель для сложного кода, десятки пользователей одновременно или генерация изображений. Для типовых задач магазина — прайс, доставка, возвраты, регламенты — локальной модели хватает с запасом.

Приватность: переписка клиентов — это персональные данные

Обращения клиентов содержат имена, адреса, телефоны, номера заказов. Отправлять их в зарубежный сервис без правовых оснований — риск для бизнеса. Локальный ассистент держит данные внутри вашего контура: запросы, история чатов и загруженные документы остаются на диске вашего VDS, который вы контролируете и можете стереть в любой момент.

2. Архитектура: Ollama, Open WebUI и база знаний

Система состоит из трёх независимых частей. Такое разделение позволяет обновлять интерфейс, не перекачивая модели, и наоборот.

Как проходит запрос

1. Сотрудник открывает https://ai.вашдомен.ру — трафик терминирует Caddy.
2. Open WebUI собирает контекст: историю диалога и фрагменты ваших документов, найденные по векторному индексу.
3. Запрос уходит в Ollama по внутренней сети Docker на http://ollama:11434. Наружу этот порт не публикуется вообще.
4. Модель генерирует ответ, Open WebUI сохраняет чат в свою базу и отдаёт его в браузер.

Отдельная модель-эмбеддер (bge-m3, 1.16 ГБ) превращает абзацы прайса в векторы. Без неё поиск по документам не работает: модель не «читает» весь прайс на каждый вопрос, она получает только релевантные куски.

3. Требования к VDS и выбор модели под CPU

Модель — главный потребитель памяти. Вес скачанных файлов известен заранее, поэтому конфигурацию сервера считают от неё, а не наоборот.

К весу модели добавьте базу знаний: эмбеддер bge-m3 занимает 1.16 ГБ на диске и ещё около 0.6 ГБ оперативной памяти, пока считает векторы. Поэтому в минимальной конфигурации 40 ГБ диска — это нижняя граница, а не запас.

Честно про 4 ГБ: при лимите 4 ГБ у Ollama и 1 ГБ у интерфейса часть памяти уйдёт в swap. Это рабочий, но медленный режим — для первого знакомства и одного-двух сотрудников. Если ассистент станет ежедневным инструментом, 8 ГБ перестанут быть роскошью.

Почему CPU — это нормально

GPU ускоряет генерацию, но для чата поддержки он не обязателен: один сотрудник ждёт ответ 10–30 секунд и всё равно правит текст. CPU-инференс медленнее, зато не требует видеокарты, драйверов и отдельного тарифа. На старте берите CPU-сервер, а GPU добавляйте, если ассистентом начнут пользоваться одновременно десятки человек.

Что ещё понадобится

• Домен или поддомен — например ai.вашдомен.ру. Caddy выпустит на него сертификат автоматически, если A-запись уже указывает на IP сервера.
• Swap. Без файла подкачки модель на 4 ГБ RAM будет убита OOM-killer при первом же длинном контексте.
• Свободные 80/443. Если на сервере уже работает Nginx или другой прокси — освободите порты или используйте существующий прокси вместо Caddy.

4. Подготовка сервера: Docker, swap и каталоги

Все команды выполняются от пользователя с sudo на свежем Ubuntu 24.04 LTS. Сначала — файл подкачки: он страхует от внезапного убийства контейнера с моделью.

sudo fallocate -l 2G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile
echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab
echo 'vm.swappiness=10' | sudo tee /etc/sysctl.d/99-swap.conf
sudo sysctl --system
free -h

Затем Docker Engine и Compose v2 из официального репозитория:

sudo apt update
sudo apt install -y ca-certificates curl gnupg
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(. /etc/os-release && echo $VERSION_CODENAME) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
docker compose version

Создайте каталог проекта и подкаталоги для данных. Модели и база чатов будут лежать рядом с конфигурацией — так их проще бэкапить и переносить на другой сервер.

sudo mkdir -p /opt/ai-assistant/data/{ollama,open-webui,caddy/data,caddy/config}
sudo chown -R $USER:$USER /opt/ai-assistant
cd /opt/ai-assistant
openssl rand -hex 32

Последняя команда печатает секрет для подписи сессий — он понадобится в .env. Значение обязательно: Open WebUI проверяет его на старте и с пустым секретом просто не запустится.

5. Манифест Docker Compose: три сервиса и лимиты

Ключевое решение манифеста: наружу смотрят только 80 и 443 порты Caddy. Ollama и Open WebUI не публикуют порты вообще — они общаются по внутренней сети Docker, а снаружи доступен лишь HTTPS-интерфейс. Это снимает целый класс проблем: API модели нельзя дёрнуть напрямую, даже если вы забыли про firewall.

services:
  ollama:
    image: ollama/ollama:0.40.6
    container_name: ollama
    restart: unless-stopped
    environment:
      OLLAMA_KEEP_ALIVE: "30m"
      OLLAMA_MAX_LOADED_MODELS: "2"
      OLLAMA_CONTEXT_LENGTH: "8192"
    volumes:
      - ./data/ollama:/root/.ollama
    mem_limit: 4g
    cpus: 2.0

  open-webui:
    image: openwebui/open-webui:0.12.3
    container_name: open-webui
    restart: unless-stopped
    depends_on:
      - ollama
    environment:
      OLLAMA_BASE_URL: "http://ollama:11434"
      WEBUI_SECRET_KEY: "${WEBUI_SECRET_KEY}"
      ENABLE_SIGNUP: "false"
      ENABLE_INITIAL_ADMIN_SIGNUP: "true"
      DEFAULT_USER_ROLE: "pending"
      RAG_EMBEDDING_ENGINE: "ollama"
      RAG_EMBEDDING_MODEL: "bge-m3"
    volumes:
      - ./data/open-webui:/app/backend/data
    mem_limit: 1g
    cpus: 1.0

  caddy:
    image: caddy:2.11.7
    container_name: caddy
    restart: unless-stopped
    depends_on:
      - open-webui
    ports:
      - "80:80"
      - "443:443"
    environment:
      DOMAIN: "${DOMAIN}"
    volumes:
      - ./Caddyfile:/etc/caddy/Caddyfile:ro
      - ./data/caddy/data:/data
      - ./data/caddy/config:/config
    mem_limit: 256m
    cpus: 0.5

Файл .env рядом с манифестом — два значения, никаких секретов в репозитории:

DOMAIN=ai.example.ru
WEBUI_SECRET_KEY=вставьте_вывод_openssl_rand_hex_32

Что означают директивы

Для сверки: Open WebUI 0.12.3 и Ollama 0.40.6 — стабильные релизы от 16 октября 2026 года (у Ollama кандидат 0.40.6-rc1 публиковался отдельным тегом и в манифест не попал), Caddy 2.11.7. Если вы обновляете статью спустя месяцы, сверяйте теги на страницах релизов, а не берите из текста.

6. HTTPS и защита периметра: Caddy 2.11.7 и UFW

Caddy выпускает сертификат Let's Encrypt сам, без certbot и cron. Единственное условие — A-запись домена уже указывает на IP сервера, а порты 80 и 443 свободны.

{$DOMAIN} {
    encode zstd gzip

    reverse_proxy open-webui:8080 {
        flush_interval -1
    }
}

Директива flush_interval -1 отключает буферизацию ответа. Без неё стриминг токенов в чате превращается в «ответ появляется целиком через 30 секунд»: Caddy копит ответ и отдаёт его одним куском.

Обратите внимание: адрес апстрима — open-webui:8080, имя контейнера во внутренней сети Docker, а не 127.0.0.1. Внутри контейнера Caddy петля localhost указывает на него самого, поэтому «локальный» адрес здесь не работает.

cd /opt/ai-assistant
nano Caddyfile
docker compose up -d
docker compose logs -f caddy

В логах появится получение сертификата. Через минуту интерфейс открывается по https://ai.example.ru. Проверить сертификат и цепочку можно чекером SSL/TLS — он покажет срок действия и издателя.

Firewall: что открывать

sudo ufw allow 22/tcp
sudo ufw allow 80/tcp
sudo ufw allow 443/tcp
sudo ufw enable
sudo ufw status verbose

Убедиться, что порт модели закрыт, можно сканером открытых портов: проверьте 11434 и 8080 по внешнему IP — оба должны быть закрыты.

7. Первый запуск: модель, администратор и закрытие регистрации

Контейнеры запущены, но моделей ещё нет — Ollama скачивает их по требованию. Скачайте языковую модель и эмбеддер для базы знаний:

cd /opt/ai-assistant
docker compose exec ollama ollama pull qwen3:4b
docker compose exec ollama ollama pull bge-m3
docker compose exec ollama ollama list

Первая команда скачает 2.50 ГБ, вторая — 1.16 ГБ. На канале 100 Мбит/с это несколько минут; следите за свободным местом.

Создание администратора

1. Откройте https://ai.example.ru. Появится форма регистрации — она разрешена только для первого администратора, остальные регистрации закрыты.
2. Зарегистрируйте аккаунт с рабочей почтой и надёжным паролем. Сгенерируйте его генератором паролей, а не придумывайте.
3. Выберите модель qwen3:4b в селекторе и задайте первый вопрос — например, «какие условия возврата товара надлежащего качества».

Сразу после создания администратора выключите bootstrap-регистрацию: иначе форму сможет открыть кто угодно, кто первым до неё дотянется после перезапуска.

sed -i 's/ENABLE_INITIAL_ADMIN_SIGNUP: "true"/ENABLE_INITIAL_ADMIN_SIGNUP: "false"/' docker-compose.yml
docker compose up -d open-webui
docker compose logs --tail=30 open-webui

Дальше аккаунты сотрудников создаёт администратор в панели управления. Новые пользователи получают роль pending и не видят чужие диалоги, пока вы их не подтвердите.

8. База знаний магазина: прайс, регламенты и RAG

Без документов ассистент отвечает «в общем», опираясь на знания модели. С документами — цитирует ваши условия. Технически это RAG: файлы режутся на фрагменты, эмбеддер bge-m3 превращает их в векторы, и на каждый вопрос модель получает только релевантные куски.

1. Откройте раздел Workspace → Knowledge и создайте коллекцию, например «Прайс и регламенты».
2. Загрузите файлы: прайс в CSV или XLSX, регламент возвратов в DOCX, условия доставки в PDF. Текстовый слой обязателен — сканы без распознавания проиндексируются пустыми.
3. Дождитесь окончания обработки: у каждого файла появится статус. Первый запуск дольше обычного, потому что эмбеддер bge-m3 загружается в память.
4. Привяжите коллекцию к модели в Workspace → Models или к отдельному чату. Так сотрудники не забудут включить базу знаний.

Как проверить качество поиска

Задайте 10 вопросов, ответы на которые вы знаете наизусть: конкретная цена, срок доставки в город, условие возврата. Если ассистент путает цифры — причина почти всегда в нарезке: длинные таблицы плохо делятся на фрагменты. Помогает разбить прайс на файлы по категориям товаров и увеличить число подтягиваемых фрагментов (RAG_TOP_K в настройках документов).

9. Эксплуатация: бэкапы, обновления и контроль диска

Самое ценное в системе — не контейнеры, а каталог ./data/open-webui: база чатов, загруженные документы и настройки. Модели в ./data/ollama восстанавливаются повторной загрузкой, поэтому в бэкап их можно не включать.

Бэкап базы чатов

cd /opt/ai-assistant
mkdir -p backups
docker compose stop open-webui
tar czf backups/webui-$(date +%F).tar.gz -C data/open-webui .
docker compose start open-webui
ls -lh backups

Останавливать контейнер нужно потому, что внутри SQLite: копирование файла на живой базе даёт битую копию. Простой занимает секунды. Раз в неделю копируйте архив на другой сервер или в объектное хранилище — локальный бэкап не спасает от потери диска.

Обновления без сюрпризов

Теги в манифесте зафиксированы: ollama/ollama:0.40.6, openwebui/open-webui:0.12.3, caddy:2.11.7. Плавающих latest нет, поэтому обновление — это осознанная смена версии, а не лотерея после перезагрузки.

cd /opt/ai-assistant
docker compose pull
docker compose up -d
docker compose ps

Порядок такой: прочитайте release notes новой версии, обновите сначала на тестовом сервере, сделайте бэкап и только потом меняйте тег на боевом. Откат — вернуть предыдущий тег и выполнить docker compose up -d.

Контроль ресурсов

docker stats --no-stream
du -sh data/ollama data/open-webui
docker system df

Если data/ollama растёт быстрее ожидаемого — вы скачали лишние модели: удалите ненужные через docker compose exec ollama ollama rm <модель>. Лимиты памяти и CPU в манифесте стоит пересматривать при смене модели, а не «на глаз» — подробнее в разборе лимитов Docker Compose.