Для установки сервиса генеративного ИИ Directum LLM Service в операционной системе на базе Linux используются docker‑контейнеры.

Чтобы установить сервис:

1.Распакуйте архив с Directum Launcher в локальную папку на сервере с помощью команды:

tar -xvf <Имя архива> -C <Имя папки>

ВАЖНО. Для корректной установки общий путь к файлам должен быть не более 256 символов. Также он не должен содержать пробелы, символы кириллицы, запятые и спецсимволы. Поэтому используйте, например, папку /srv/DirectumLauncher. В зависимости от настроек операционной системы для дальнейших действий могут потребоваться права суперпользователя.

2.В корень папки с Directum Launcher скопируйте архив с сервисом DLLM.tar.gz.

3.Добавьте компонент сервиса. Для этого выполните команду:

./do.sh components add dllm

4.Создайте конфигурационный файл config.yml на основе файла DirectumLauncher/etc/config.yml.example. Если он был создан ранее, пропустите шаг.

5.Сгенерируйте настройки установки сервиса с помощью команды:

./do.sh dllm generate_config_yaml

6.Откройте конфигурационный файл config.yml и в секции variables задайте параметры:

DLLM_INSTALL_PATH – относительный или полный путь до папки установки сервиса генеративного ИИ. Значение по умолчанию ~/directum/dllm/.

DLLM_LOG_PATH – относительный или полный путь до папки с лог-файлами и файлами трассировки. Значение по умолчанию ~/directum/dllm/logs/.

Пример секции variables:

variables:

  DLLM_INSTALL_PATH: '~/directum/dllm/'
  DLLM_LOG_PATH: '~/directum/dllm/logs/'

7.В секции с настройками сервисов services_config в секции DirectumLLMService проверьте значения параметров:

•PORT – порт для подключения к сервису. Значение по умолчанию 21002;

•API_KEY – токен доступа, который передается в запросах к сервису. По умолчанию не заполняется. Если в организации запрещена анонимная отправка запросов, укажите свое значение в параметре;

•LOG_PATH – относительный или полный путь до папки с лог-файлами. По умолчанию они записываются в папку DirectumLLMService, которая расположена в папке, указанной в параметре DLLM_LOG_PATH;

•MODEL_NAME – наименование модели генеративного ИИ, которая будет использоваться по умолчанию. Убедитесь, что указано значение Qwen/Qwen2‑7B‑Instruct;

•ENGINE_ARGUMENTS – дополнительные параметры для запуска сервиса. Указываются в виде одной строки. Можно перечислить несколько параметров через пробел. По умолчанию указываются:

--tensor-parallel-size – количество видеокарт на сервере, которые планируется использовать для работы с сервисом. Значение по умолчанию 1.

--dtype – тип данных, который используется для работы модели генеративного ИИ. Возможные значения: auto, half, float16, bfloat16, float, float32. Значение по умолчанию float16.

--device cuda – тип устройства, который используется для работы модели генеративного ИИ. Возможные значения: auto, cuda, neuron, cpu, openvino, tpu, xpu. Значение по умолчанию cuda.

--disable-log-requests и --disable-log-stats – признак отключения логирования и сбора статистики работы модели генеративного ИИ соответственно.

Список параметров см. в документации библиотеки vLLM статью «Engine Arguments».

Пример секции services_config:

services_config:

  DirectumLLMService:
    PORT: 21001
    API_KEY: 
    LOG_PATH: '{{ DLLM_LOG_PATH }}/DirectumLLMService'
    MODEL_NAME: 'Qwen/Qwen2-7B-Instruct'
    ENGINE_ARGUMENTS: '--tensor-parallel-size 1 --dtype float16 --device cuda --disable-log-requests --disable-log-stats'

При необходимости скорректируйте значение параметров.

8.Установите сервис генеративного ИИ. Для этого выполните команду:

./do.sh dllm install

© Компания Directum, 2025