Требования к ресурсам
Оценка сделана для установки примерно на 50 пользователей, из которых одновременно работают 5-10 человек. В неё входят EVA, PostgreSQL, OnlyOffice, KnowledgeBase, Paleograph, Hippocampus, Transcript, Searcher и их инфраструктура: Milvus, etcd, S3-хранилище, SearXNG.
Скорость ответов
Когда LLM внешняя, скорость ответов в чате определяют лимиты провайдера, а не ваше железо. Ошибки вида «Tokens per minute limit exceeded» в Админ → Рантайм означают именно лимиты провайдера.
Какие модели нужны
LLM отвечает в чате и работает в агентах. Кроме неё сервисам экосистемы нужны модели стандартной поставки. Их отдаёт ModelsGate, шлюз моделей с GPU. Сами сервисы видеокарту не требуют, они обращаются к шлюзу по HTTP.
| Сервис | Модель | Для чего |
|---|---|---|
| Hippocampus | BGE-M3 | Эмбеддинги для поиска по базе знаний |
| Transcript | Whisper | Распознавание речи |
| Transcript | Модель диаризации | Разметка расшифровки по спикерам. Необязательна |
| Paleograph | PaddleOCR или Surya | Разметка страницы и распознавание текста на сканах |
Paleograph умеет распознавать страницу целиком vision-моделью, движок openai. Если внешняя LLM умеет работать с картинками, OCR можно отдать ей, и локальные модели OCR не понадобятся.
Все модели внешние
LLM и модели стандартной поставки работают у провайдера или в чужом ModelsGate. Видеокарта не нужна.
| Конфигурация | CPU | RAM | Диск | GPU |
|---|---|---|---|---|
| Минимум | 8 vCPU | 32 ГБ | 250 ГБ SSD | Нет |
| С запасом | 12-16 vCPU | 48 ГБ | 300 ГБ SSD | Нет |
Из чего складывается
Значения для сервисов экосистемы взяты из Развёртывания сервисов. Значения для EVA, PostgreSQL и OnlyOffice ориентировочные.
| Компонент | CPU лимит | Память лимит | Диск |
|---|---|---|---|
| EVA: API, Runtime, Package-pool | 2-4 | 4-6 ГБ | 50-100 ГБ на /app/apps/api/.data |
| PostgreSQL | 1 | 2 ГБ | 20 ГБ |
| OnlyOffice Document Server | 2 | 4 ГБ | 5 ГБ |
| KnowledgeBase | 0.5 | 1 ГБ | 10 ГБ |
| Paleograph | 2 | 6 ГБ | 10 ГБ |
| Hippocampus | 1 | 2 ГБ | 5 ГБ |
| Transcript и Searcher | 0.6 | 0.5 ГБ | Не нужен |
| Milvus | 1 | 8 ГБ | 20 ГБ |
| etcd | 0.2 | 1 ГБ | 5 ГБ, только SSD |
| S3-хранилище | 1 | 2 ГБ | 50 ГБ |
| SearXNG | 0.2 | 1 ГБ | Конфиг |
| Итого | около 12 | около 33 ГБ | около 200 ГБ |
К диску добавьте место под систему и образы контейнеров. Сумма лимитов это потолок: все сервисы одновременно в него не упираются, сумма запросов около 3-4 CPU и 8-10 ГБ. Поэтому минимум меньше суммы лимитов.
Модели стандартной поставки у вас, LLM внешняя
К конфигурации выше добавляется узел ModelsGate с видеокартой.
| Узел | CPU | RAM | Диск | GPU |
|---|---|---|---|---|
| EVA и сервисы экосистемы | 8-12 vCPU | 32 ГБ | 250 ГБ SSD | Нет |
| ModelsGate | 8 vCPU | 32 ГБ | 150 ГБ SSD | 1 карта, 24 ГБ видеопамяти |
Всё можно поставить на один сервер: 16 vCPU, 64 ГБ RAM, 400 ГБ SSD и одна карта на 24 ГБ. Так проще обслуживать, но тяжёлый OCR или длинная расшифровка будут забирать ресурсы у EVA.
Видеопамять
| Модель | Видеопамять, ориентир |
|---|---|
| BGE-M3 | 2-3 ГБ |
| Whisper large-v3 | 4-6 ГБ |
| Диаризация | 1-2 ГБ |
| PaddleOCR или Surya | 3-5 ГБ |
| Итого | 12-16 ГБ |
Карты на 24 ГБ хватает с запасом на пакетную обработку: L4, A10, RTX 4090. Карта на 16 ГБ тоже вместит модели, но расшифровка и OCR пойдут заметно медленнее.
Если OCR нужен локальной vision-моделью, например Qwen2.5-VL-7B, добавьте ещё 16-20 ГБ видеопамяти: одну карту на 48 ГБ или вторую на 24 ГБ. То же касается описания картинок в Paleograph, image_description = true.
Без видеокарты
Модели стандартной поставки работают и на процессоре, но медленно:
| Модель | Что будет на CPU |
|---|---|
| BGE-M3 | Поиск работает нормально. Первичная индексация большой базы растягивается на часы и дни |
| Whisper | Примерно в реальном времени: час записи расшифровывается около часа |
| OCR | Терпимо для небольшого потока сканов |
Такой вариант подходит, если расшифровок мало и база знаний небольшая. Узлу моделей тогда нужно 16 vCPU и 64 ГБ RAM.
Где упрётся первым
| Что | Признак | Что делать |
|---|---|---|
| Paleograph | Контейнер убивается по памяти на больших PDF | Поднять лимит памяти |
| Milvus | Растёт память при большой базе знаний | 8 ГБ хватает примерно на сотни тысяч фрагментов. Для крупных источников больше |
| Runtime EVA | Пользователи видят «Ожидание свободного слота генерации…» | Увеличить ёмкость в Рантайм и ёмкость, затем память пода |
Том .data EVA | Заканчивается место | Растёт с числом файлов и артефактов, а не с числом пользователей |
Что учесть
- В Kubernetes добавьте ресурсы на сам кластер, около 2 vCPU и 4 ГБ на управляющий узел.
- Transcript, KnowledgeBase, Paleograph и Hippocampus работают одной репликой, поэтому для такой нагрузки их не масштабируют горизонтально. Подробнее: Масштабирование.
- etcd чувствителен к задержкам диска, держите его том на SSD.