Skip to content

Модели ​

Где подключаются провайдеры и языковые модели, что задаётся у каждой модели и как модели становятся доступны пользователям.

Как читать этот раздел

Раздел описывает, что находится на каждом экране администрирования и на что это влияет. Пошаговых указаний здесь нет: настройки в каждой установке свои, и менять их нужно осознанно, а не по инструкции.

Что на экране ​

Модели и провайдеры

Экран состоит из двух связанных списков: провайдеры и их модели.

Провайдер ​

Провайдер это внешний сервис с OpenAI-совместимым API.

ПолеЧто задаёт
НазваниеКак провайдер называется в интерфейсе
Базовый адресАдрес API провайдера
Ключ доступаКлюч провайдера. Хранится в базе в зашифрованном виде
ВключёнВыключенный провайдер вместе со всеми своими моделями недоступен

Ключи только через интерфейс

Ключ провайдера задаётся здесь и нигде больше. В переменных окружения его быть не должно. Шифрование ключа строится на общем секрете платформы, поэтому при смене этого секрета все сохранённые ключи станут нечитаемыми.

Модель ​

ПолеЧто задаёт
Внешний идентификаторИмя модели у провайдера, ровно как он его ожидает
Отображаемое имяКак модель называется в списке выбора у пользователя
Размер контекстного окнаСколько токенов помещается в один чат
Режим работыКакой стиль API использовать при обращении
Настройки размышленийПоказывать ли ход размышлений и с какой глубиной
ВключенаВыключенная модель не предлагается в чате

Размер контекстного окна заполнять обязательно

Без него в чате не работает показ заполненности контекста и не срабатывает автоматическое сжатие переписки. Пользователь увидит подсказку «Задайте окно контекста модели в Настройках».

Как модель попадает к пользователю ​

Условия простые и все обязательны: провайдер включён, у провайдера сохранён ключ, модель включена.

Разграничения моделей по ролям нет

В платформе нет механизма выдачи отдельных моделей отдельным ролям или пользователям. Любая включённая модель доступна всем, кто может писать в чат. То же касается внешнего API: список моделей отдаётся полностью всем, у кого есть право на чтение моделей или на создание запусков.

Настройки размышлений ​

Часть моделей умеет показывать ход своих рассуждений. Настройки модели определяют, показывать его пользователю и с какой глубиной работать по умолчанию.

Если показ включён, в чате под полем ввода появится выбор режима рассуждений: Низкий, Средний, Высокий. Пользователь может менять его на каждое сообщение.

Размышления обычно на английском

Модели, как правило, рассуждают на английском независимо от языка вопроса. Это нормальное поведение модели, а не ошибка настройки.

Документация платформы EVA