Важно. В разделе приводятся готовые примеры команд. При копировании текста убедитесь в отсутствии лишних пробелов и спецсимволов.

1.Если на сервере настроены репозитории NVIDIA, отключите их на время установки решения.

2.Если на сервере установлены драйверы NVIDIA или библиотека Cuda, удалите их. Для этого выполните команды:

sudo apt-get --purge -y remove 'cuda'
sudo apt-get --purge -y remove 'nvidia'
sudo apt-get autoremove

3.Установите библиотеку Cuda 12.4. Подробнее об установке библиотеки на операционной системе Ubuntu 20.04 или 22.04 см. в документации NVIDIA.

4.Установите набор инструментов NVIDIA Container Toolkit. Подробнее о его установке см. в документации NVIDIA статью «Installing the NVIDIA Container Toolkit».

5.Установите Docker на сервер, на который планируется устанавливать сервис Directum LLM Service.

6.Получите список обновлений и установите драйвер 550 для видеокарты. Для этого выполните команды:

sudo apt-get update
apt-get install nvidia-driver-550

7.После установки драйвера перезагрузите сервер.

Установка Docker

Для сервиса Directum LLM Service требуется версия Docker, совместимая с видеокартой NVIDIA. Перед установкой убедитесь, что программное обеспечение и приложения на сервере совместимо с этой версией Docker.

Чтобы установить Docker:

1.Подключитесь к репозиторию c нужной версией Docker. Для этого выполните команду:

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

2.Получите список обновлений и установите Docker. Для этого выполните команды:

sudo apt-get update
sudo apt-get install -y nvidia-docker2

3.Проверьте, что сервис Docker запуcтился корректно. Для этого выполните команды:

sudo systemctl status docker
sudo docker ps

4.Если сервис установился и запустился успешно, первая команда возвращает статус active, вторая – пустой список контейнеров.

5.Если сервис не запустился автоматически, сделайте это вручную. Для этого выдайте разрешение на автоматический запуск Docker вместе с системой, последовательно выполнив команды:

sudo systemctl enable --now docker
sudo systemctl start docker