Интеллектуальные возможности > Сервисы Directum Ario > Администрирование сервисов Ario (Linux) > Установка сервисов Ario

Для установки сервисов Ario в операционной системе на базе Linux используются docker‑контейнеры. Каждому сервису соответствует отдельный контейнер.

Перед установкой ознакомьтесь с типовыми требованиями и убедитесь, что ваше аппаратное и программное обеспечение подходит для установки сервисов. Подробнее см. в документе «Directum RX. Типовые требования к аппаратному и программному обеспечению». Требуемая конфигурация оборудования определяется с учетом объема документов, который обрабатывается сервисами Ario:

•если объем документопотока в месяц составляет до 90 000 документов, все сервисы Directum Ario можно самостоятельно установить на один сервер;

•если объем документопотока в месяц превышает 90 000 документов, рекомендуется установить Directum Text Extractor Service и другие сервисы на отдельные виртуальные или физические серверы. Чтобы выполнить распределенную установку, обратитесь в службу поддержки Directum.

ПРИМЕЧАНИЕ. Объем документопотока рассчитан исходя из средних значений: объем одного документа – 2 страницы, время обработки – 8 часов в день, 22 дня в месяц.

Чтобы установить сервисы Directum Ario на один сервер:

1.Архив с Directum Launcher распакуйте в локальную папку на сервере с помощью команды:

tar -xvf <Имя архива> -C <Имя папки>

ВАЖНО. Для корректной установки общий путь к файлам должен быть не более 256 символов. Также он не должен содержать пробелы, символы кириллицы, запятые и спецсимволы. Поэтому используйте, например, папку /srv/DirectumLauncher. В зависимости от настроек операционной системы для дальнейших действий могут потребоваться права суперпользователя.

2.В корень папки с Directum Launcher скопируйте архив с сервисами Ario.tar.gz. Если на сервере отсутствует доступ к сети Интернет, также скопируйте архив с базовыми образами для сервисов ArioBaseImages.tar.gz.

3.Добавьте компоненты в Directum Launcher. Для этого выполните команду:

./do.sh components add_all

4.Создайте конфигурационный файл config.yml на основе файла DirectumLauncher/etc/config.yml.example. Если он был создан ранее, пропустите шаг.

5.Сгенерируйте настройки установки сервисов с помощью команды:

./do.sh ario generate_config_yaml

6.Откройте конфигурационный файл config.yml и в секции variables задайте:

•параметры подключения к базам данных Smart Service или Identity Service. Для этого в строках подключения к базам данных ARIO_PG_CONNECTION_STRING и ARIO_PG_CONNECTION_STRING_DIS соответственно задайте параметры:

User ID – логин для подключения к базе данных. Значение по умолчанию postgres;

Password – пароль для подключения к базе данных. Не допускается использование пустого пароля. Для корректной работы сервисов в пароле не рекомендуется использовать спецсимволы: ‘ # @ \ \ : * ? “ < > |;

Host – имя компьютера, на котором установлена СУБД. Если при установке PostgreSQL имя компьютера по умолчанию было изменено, укажите имя сервера в формате <Имя компьютера>/<Имя экземпляра>;

Port – порт для подключения к базе данных. Значение по умолчанию 5432;

Datadase – имя базы данных. Укажите имя ранее созданной базы данных или задайте имя новой. Если указать имя новой базы данных, то она создается при первом запуске сервисов. Значения по умолчанию: Ario_Smart_Service – для базы данных Smart Service; Ario_Identity_Service – для базы данных Identity Service.

•параметры подключения к RabbitMQ. На каждом сервере в строке подключения ARIO_QUEUE_CONNECTION_STRING необходимо задать одинаковые параметры:

Port – порт для подключения к RabbitMQ. Значение по умолчанию 5672;

virtualHost – виртуальный хост RabbitMQ для работы с сервисами Ario, например ario_host;

username – логин для подключения к RabbitMQ. Для установки на один сервер значение по умолчанию – guest. Для установки на нескольких серверах укажите логин вручную, так как использование учетной записи guest запрещено;

password – пароль для подключения к RabbitMQ.

ВАЖНО. Для корректной работы сервисов не рекомендуется в логине и пароле для подключения к RabbitMQ использовать спецсимволы: ‘ # @ \ \ : * ? “ < > |.

hostname – сервер, на котором установлен брокер сообщений RabbitMQ. Значение по умолчанию localhost;

Exchange – точка обмена, к которой привязываются очереди сообщений веб-сервера. Также используется для наименования очередей сообщений. Имя каждой точки должно быть уникальным и не повторять имена точек, которые добавлены в RabbitMQ по умолчанию. Задайте новую точку обмена, например Ario_Exchange. Она создается во время установки системы.

•значения остальных параметров:

ARIO_STORAGE_SERVICE_URL – хост, на котором необходимо развернуть Directum Storage Service. Значение по умолчанию localhost;

ARIO_STORAGE_SERVICE_PORT – порт для подключения к сервису Directum Storage Service. Значение по умолчанию 9021;

ARIO_IDENTITY_SERVICE_PORT – порт для подключения к сервису Directum Identity Service. Значение по умолчанию 9030;

ARIO_LOG_PATH – относительный или полный путь до папки с лог-файлами и файлами трассировки. Значение по умолчанию /opt/directum/ario/logs;

ARIO_INSTALL_PATH – относительный или полный путь до папки установки сервисов Directum Ario. Значение по умолчанию /opt/directum/ario;

ARIO_ACTIVATION_KEY_PATH – относительный или полный путь до ключа активации.

Пример секции variables:

variables:
  ARIO_PG_CONNECTION_STRING: {строка подключения к базе данных Smart Service};
  ARIO_PG_CONNECTION_STRING_DIS: {строка подключения к базе данных Smart Service};
  ARIO_QUEUE_CONNECTION_STRING: {строка подключения к очереди сообщений RabbitMQ}
  ARIO_STORAGE_SERVICE_URL: {хост для хранения оперативных данных}
  ARIO_STORAGE_SERVICE_PORT: {порт подключения к сервису Storage Service}
  ARIO_IDENTITY_SERVICE_PORT: {порт подключения к сервису Identity Service}
  ARIO_LOG_PATH: {путь до лог-файлов}
  ARIO_INSTALL_PATH: {путь до папки установки}
  ARIO_ACTIVATION_KEY_PATH: {путь до ключа активации}

7.В конфигурационном файле config.yml в секции services_config проверьте значения параметров установки сервисов.

Структура секции services_config:

services_config:
  ArioSmartService:
    PORT: {порт подключения к сервису Smart Service}
    CONNECTION_STRING: "{{ ARIO_PG_CONNECTION_STRING }}"
    STORAGE_ENDPOINT: "{{ ARIO_STORAGE_SERVICE_URL }}:{{ ARIO_STORAGE_SERVICE_PORT }}"
    IDENTITY_SERVICE: http://localhost:{{ ARIO_IDENTITY_SERVICE_PORT }}
    QUEUE_CONNECTION_STRING: "{{ ARIO_QUEUE_CONNECTION_STRING }}"
  ArioStorageService:
    PORT: "{{ ARIO_STORAGE_SERVICE_PORT }}"
  ArioElasticApm:
    PORT: {порт подключения к сервису Elastic APM Service}
    TRACES_PATH: ./traces 
  ArioIdentityService:
    PORT: "{{ ARIO_IDENTITY_SERVICE_PORT }}"
    CONNECTION_STRING: "{{ ARIO_PG_CONNECTION_STRING_DIS }}"
  ArioPublishingService:
    PORT: {порт подключения к сервису Publishing Service}
    QUEUE_CONNECTION_STRING: "{{ ARIO_QUEUE_CONNECTION_STRING }}"
  ArioTextExtractor:
    PORT: {порт подключения к сервису Text Extractor Service}
    QUEUE_CONNECTION_STRING: "{{ ARIO_QUEUE_CONNECTION_STRING }}"
  ArioDocumentDisassemblerService:
    PORT: {порт подключения к сервису Document Disassembler Service}
    QUEUE_CONNECTION_STRING: "{{ ARIO_QUEUE_CONNECTION_STRING }}"
  ArioDocumentAssemblerService:
    PORT: {порт подключения к сервису Document Assembler Service}
    QUEUE_CONNECTION_STRING: "{{ ARIO_QUEUE_CONNECTION_STRING }}"
  ArioFactExtractorService:
    PORT: {порт подключения к сервису Fact Extractor Base Service}
    QUEUE_CONNECTION_STRING: "{{ ARIO_QUEUE_CONNECTION_STRING }}"
  ArioFactExtractorRulesService:
    PORT: {порт подключения к сервису Fact Extractor Rules Service}
    QUEUE_CONNECTION_STRING: "{{ ARIO_QUEUE_CONNECTION_STRING }}?heartbeat=300"
  ArioFactExtractorLearnService:
    PORT: {порт подключения к сервису Fact Extractor Learn Service}
    CONNECTION_STRING: "{{ ARIO_PG_CONNECTION_STRING }}"
    QUEUE_CONNECTION_STRING: "{{ ARIO_QUEUE_CONNECTION_STRING }}?heartbeat=36000"
  ArioObjectDetectionService:
    PORT: {порт подключения к сервису Object Detection Service}
    QUEUE_CONNECTION_STRING: "{{ ARIO_QUEUE_CONNECTION_STRING }}"
  ArioImageClassifierService:
    PORT: {порт подключения к сервису Image Classifier Service}
    QUEUE_CONNECTION_STRING: "{{ ARIO_QUEUE_CONNECTION_STRING }}"
  ArioTextClassifierService:
    PORT: {порт подключения к сервису Text Classifier Service}
    CONNECTION_STRING: "{{ ARIO_PG_CONNECTION_STRING }}"
    QUEUE_CONNECTION_STRING: "{{ ARIO_QUEUE_CONNECTION_STRING }}"

где:

ArioSmartService – параметры установки сервиса Directum Smart Service:

•PORT – порт для подключения к сервису. Значение по умолчанию 61100;

•CONNECTION_STRING – строка подключения к базе данных Smart Service. Подставляется значение, указанное для параметра ARIO_PG_CONNECTION_STRING в секции variables;

•STORAGE_ENDPOINT – строка подключения к сервису хранения объектов Storage Service. Указывается без протокола http/https. Пример значения: localhost:9000;

•IDENTITY_SERVICE – адрес сервиса Identity Service. Рекомендуется не менять значение по умолчанию localhost;

•QUEUE_CONNECTION_STRING – строка подключения к RabbitMQ. Подставляется значение, указанное для параметра ARIO_QUEUE_CONNECTION_STRING в секции variables.

ArioStorageService – параметры установки сервиса Directum Storage Service:

•PORT – порт для подключения к сервису. Значение по умолчанию 9021;

ArioElasticApm – параметры установки сервиса Directum Elastic APM Service:

•PORT – порт для подключения к сервису. Значение по умолчанию 9082;

•TRACES_PATH – папка, в которую будут записываться файлы трассировки запросов к сервисам Ario. Значение по умолчанию <Путь до лог-файлов>\Traces;

ArioIdentityService – параметры установки сервиса Directum Identity Service:

•PORT – порт для подключения к сервису. Значение по умолчанию 9030;

ArioPublishingService – параметры установки сервиса Directum Publishing Service:

•PORT – порт для подключения к сервису. Значение по умолчанию 9057;

•QUEUE_CONNECTION_STRING – строка подключения к RabbitMQ. Подставляется значение, указанное для параметра ARIO_QUEUE_CONNECTION_STRING в секции variables;

ArioTextExtractorService – параметры установки сервиса Directum Text Extractor Service:

•PORT – порт для подключения к сервису. Значение по умолчанию 9027;

ArioDocumentDisassemblerService – параметры установки сервиса Directum Document Disassembler Service:

•PORT – порт для подключения к сервису. Значение по умолчанию 9028;

ArioDocumentAssemblerService – параметры установки сервиса Directum Document Assembler Service:

•PORT – порт для подключения к сервису. Значение по умолчанию 9029;

ArioFactExtractorService – параметры установки сервиса Directum Fact Extractor Base Service:

•PORT – порт для подключения к сервису. Значение по умолчанию 9017;

ArioFactExtractorRulesService – параметры установки сервиса Directum Fact Extractor Rules Service:

•PORT – порт для подключения к сервису. Значение по умолчанию 9018;

ArioFactExtractorLearnService – параметры установки сервиса Directum Fact Extractor Learn Service:

•PORT – порт для подключения к сервису. Значение по умолчанию 9019;

ArioObjectDetectionService – параметры установки сервиса Directum Object Detection Service:

•PORT – порт для подключения к сервису. Значение по умолчанию 9047;

ArioImageClassifierService – параметры установки сервиса Directum Image Classifier Service:

•PORT – порт для подключения к сервису. Значение по умолчанию 9008;

ArioTextClassifierService – параметры установки сервиса Directum Text Classifier Service:

•PORT – порт для подключения к сервису. Значение по умолчанию 9007;

•CONNECTION_STRING – строка подключения к базе данных Smart Service. Подставляется значение, указанное для параметра ARIO_PG_CONNECTION_STRING в секции variables.

При необходимости скорректируйте значения.

8.Установите сервисы Directum Ario. Для этого выполните команду:

./do.sh ario install

9.Дождитесь окончания установки.

СОВЕТ. В зависимости от конфигурации оборудования меняется время запуска сервисов Directum Ario. Иногда Directum Launcher может прекратить установку, потому что не дожидается запуска сервисов. В результате модели классификации и извлечения фактов не импортируются. В этом случае проверьте состояние сервисов Directum Ario. Если сервисы запустились, импортируйте модели классификации и извлечения фактов вручную.

10.Добавьте рассчитанные лимиты объема оперативной памяти для Directum Text Extractor Service и Directum Fact Extractor Learn Service в конфигурационный файл deploy.yml, который располагается в папке установки сервисов Directum Ario. Подробнее о расчете памяти см. в типовых требованиях к сервисам Ario в документе «Directum RX. Типовые требования к аппаратному и программному обеспечению». Для этого измените значение параметра memory в соответствующих секциях файла, указав рассчитанный объем в байтах.

ПРИМЕЧАНИЕ. Чтобы в параметре memory указать значение в мегабайтах или гигабайтах, после числа введите m или g соответственно. Например, для лимита оперативной памяти 16384 мегабайта будет соответствовать значение 16384m.

В конфигурационном файле deploy.yml настройки сервиса Directum Text Extractor Service соответствует секция dtes, сервису Directum Fact Extractor Learn Service – dfesl:

deploy:
  mode: replicated
  replicas: ${dtes_replicas}
  placement:
    constraints: 
      - "node.labels.service == ${dtes_node_label}"
    max_replicas_per_node: 1
  restart_policy:
    condition: any
    delay: 15s
    window: 180s
  resources:
    limits:
      memory: 16384m

Примечание. Если для распознавания и обучения используется два экземпляра сервиса Directum Fact Extractor Learn Service, то в первом случае лимит оперативной памяти имеет постоянное значение – 2 ГБ. Лимит оперативной памяти для обучения определяется с учетом количества обрабатываемых документов.

Если для распознавания и обучения используется один экземпляр Directum Fact Extractor Learn Service, лимит оперативной памяти для распознавания также будет равен 2 ГБ, а итоговый лимит памяти равен объему памяти для обучения согласно таблице конфигурации оборудования для сервиса Directum Fact Extractor Learn Service. Подробнее о расчете памяти см. в типовых требованиях к сервисам Ario в документе «Directum RX. Типовые требования к аппаратному и программному обеспечению». Например, при 2 ГБ для распознавания и 16 ГБ для обучения на 400 документах итоговый лимит 16 ГБ. Таким образом, итоговый лимит равен наибольшему значению лимита для экземпляра сервиса.

11.Убедитесь, что в параметрах конфигурационного файла .env указаны значения:

•timezone – текущий часовой пояс;

•dss_allow_local_path – true;

•dtcs_allow_local_path – True.

12.Если дополнительно необходимо изменить другие настройки определенного сервиса, внесите корректировки в конфигурационный файл .env в соответствующую секцию. Например, чтобы изменить время хранения ссылок на объекты, внесите изменения в секцию SmartService в параметр dss_storage_uri_lifetime_seconds.

13.После изменения настроек перезапустите сервисы. Для этого сначала остановите работу сервисов:

./do.sh ario stop

Затем повторно запустите сервисы:

./do.sh ario start

В результате сервисы запустятся с учетом обновленных настроек в конфигурационном файле.

В результате установки:

•из архива загружаются docker-образы;

•запускаются контейнеры с сервисами Directum Ario;

•автоматически импортируются базовые модели извлечения фактов и базовые модели классификации документов.