Рантайм

Какие ограничения нагрузки можно настроить, на что каждое влияет, что происходит при их достижении и что показывает наблюдение.

Как читать этот раздел

Раздел описывает, что находится на каждом экране администрирования и на что это влияет. Пошаговых указаний здесь нет: настройки в каждой установке свои, и менять их нужно осознанно, а не по инструкции.

Что на экране

Экран делится на две части: настройка лимитов и живое наблюдение. Данные обновляются сами каждые 2,5 секунды, пока вкладка открыта.

Лимиты

Параметр	По умолчанию	Допустимо	На что влияет
Макс. процессов сессий	3	от 1 до 64	Сколько рабочих процессов платформа может поднять
Сессий на процесс	3	от 1 до 32	Сколько живых сессий держит один процесс
Макс. параллельных запусков	4	от 1 до 256	Сколько шагов работы модели идёт одновременно на всю платформу
TTL аренды сессии	5 минут	до 1 часа	Через сколько простоя процесс выгружает сессию и закрывает её подключения к инструментам. Ноль отключает выгрузку
TTL простоя воркера	1 минута	до 1 часа	Через сколько простоя процесс без работы завершается. Ноль отключает завершение

Настройки хранятся в базе и применяются без перезапуска.

Единица ограничения это шаг, а не сообщение

Ограничение параллельных запусков считает шаги работы модели, а не сообщения пользователей. Один ответ может состоять из многих шагов, и между шагами место освобождается. Поэтому длинный многошаговый ответ не блокирует остальных пользователей.

Предел шагов на один ответ не настраивается

Один ответ не может состоять более чем из 60 шагов. Это значение заложено в код и переменными окружения не меняется.

Что происходит при достижении лимитов

Условие	Что видит пользователь
Нет свободного места ни в существующих процессах, ни для нового	Слишком много активных генераций, попробуйте чуть позже. Плюс кнопка Поставить в очередь
Исчерпаны параллельные запуски	Ожидание свободного слота генерации. Запрос принят и ждёт своей очереди
Запрос поставлен в очередь	В очереди на генерацию, с кнопкой отмены
В чате уже идёт ответ	Второе сообщение не принимается
Рабочий процесс упал	Ответ помечается неудавшимся

Очередь разбирается каждые 2,5 секунды и только когда свободно не менее двух мест. Одновременно из очереди забирается один запрос.

Наблюдение

Что показывается	Подробности
Четыре сводных числа	Занятость пула шагов, число процессов, длина очереди, обращения к внешнему API
Состояние сервисов	Доступность API и Рантайма
Топология	Схема процессов, живых сессий и очереди
Сессии и запуски	Число активных чатов и распределение запусков по состояниям
Недавние ошибки	Последние 20 неудавшихся запусков с текстом ошибки

Текст сообщений не показывается нигде

В очереди и в топологии видны только служебные сведения. Содержимое переписки пользователей в администрировании не отображается.

На что смотреть при жалобах на медленную работу

Признак	Вероятная причина
Пул шагов постоянно занят полностью	Мало параллельных запусков. Поднимайте это значение
Процессов столько же, сколько максимум, а свободных мест нет	Мало процессов или мало сессий на процесс
Очередь не пустеет	Свободных мест меньше двух, очередь не разбирается. Поднимайте лимиты
Много неудавшихся запусков с одинаковой ошибкой	Смотрите текст ошибки, обычно дело в провайдере или в источнике MCP
Рантайм недоступен	Проверьте, что процесс Рантайма запущен и адрес в переменной RUNTIME_URL верный