Интеллектуальные возможности > Генеративный ИИ > Подключения Directum RX к сервису генеративного ИИ

В зависимости от выбранного сервиса генеративного ИИ администратор может:

•настроить подключение к сервису Directum LLM Service из комплекта поставки;

•настроить подключение к облачному сервису от стороннего провайдера.

Подключение к сервису Directum LLM Service

Если сервис Directum LLM Service используется в качестве сервиса генеративного ИИ, активируйте его. Для этого:

1.С помощью расширенного поиска перейдите к справочнику Сервисы генеративного ИИ и откройте карточку сервиса OpenAI:

2.Укажите адрес для подключения к модели генеративного ИИ. Задается в формате:

https://<IP адрес сервера>/v1/chat/completions

Где:

•IP-адрес сервера – адрес сервера, на котором расположена модель.

•v1/chat/completions – обязательный постфикс для корректной обработки запросов.

3.Чтобы убедиться, что сервис подключен корректно, нажмите кнопку Проверить подключение.

4.Сохраните и закройте карточку сервиса

Подключение к облачному сервису

Если используется облачный сервис генеративного ИИ, настройте подключение к нему в интерфейсе Directum RX. Для этого:

1.С помощью расширенного поиска перейдите к справочнику Сервисы генеративного ИИ.

2.Нажмите на кнопку и в выпадающем списке выберите пункт Сервис генеративного ИИ. Заполните карточку:

Наименование. Заполняется автоматически после того как указан адрес генеративного ИИ и интерфейс взаимодействия. Значение можно изменить вручную.

Интерфейс взаимодействия. Способ формирования запросов от пользователя. В зависимости от используемой модели генеративного ИИ, выберите значение OpenAI, GigaChat или YandexGPT.

Адрес генеративного ИИ. Адрес для подключения к модели генеративного ИИ. Задается в формате:

https://<IP адрес сервера>/v1/chat/completions

Где:

•IP-адрес сервера – адрес сервера, на котором расположена модель.

•v1/chat/completions – обязательный постфикс для корректной обработки запросов

Важно. Предварительно уточните адрес подключения у компании-провайдера.

3.Создайте карточку модели. Для этого в табличной части нажмите на кнопку Добавить строку и в выпадающем списке нажмите на ссылку Создать модель генеративного ИИ и заполните поля карточки:

Наименование модели генеративного ИИ.

Размер контекста одного запроса. К контексту относится текст запроса и ответа на него. Сервис генеративного ИИ разделяет этот текст на токены. Размер контекста определяет максимальное количество токенов в запросе.

Коэффициент преобразования символов в токены. Отношение общего количества символов к общему количеству токенов в контексте запроса.

4.Сохраните и закройте карточку модели.

5.В карточке сервиса генеративного ИИ активируйте подключение. Для этого на панели действий нажмите кнопку Задать данные авторизации. В открывшемся окне выберите модель, введите ключ и нажмите на кнопку ОК:

Примечание. Если в качестве сервиса генеративного ИИ используется GigaChat, то в открывшемся окне дополнительно отображается поле Адрес авторизации. Данные для его заполнения предварительно запросите у компании-провайдера.

Чтобы убедиться, что сервис подключен корректно, нажмите кнопку Проверить подключение.

6.Сохраните и закройте карточку сервиса.

7.Укажите новый сервис и модель в шаблонах запроса.