Пару лет назад я подготовил для ВМК МГУ лекцию о том, как развёртывать ML-приложения. Начали с одной машины с GPU, затем по мере появления новых задач перешли к Docker, Compose и Kubernetes.

Инструменты и практики развёртывания ML-приложений меняются, но основные инженерные задачи остаются: воспроизвести окружение, дать приложению доступ к GPU и организовать работу на нескольких серверах.

Слайды лекции «Docker & Kubernetes для ML-приложений».

Одна машина с GPU

Самый простой вариант — запустить приложение прямо на машине. Ставим драйвер и библиотеки для работы с GPU, кладём веса модели на диск и запускаем процесс Python. На одной машине этого достаточно, чтобы попробовать модель и проверить, идут ли вычисления на GPU.

Первая сложность возникает, когда нужно повторить окружение на другом сервере или запустить рядом два приложения с разными зависимостями. Приходится следить за тем, какие версии Python и библиотек нужны каждому приложению.

Docker упаковывает окружение

На сервере приложение должно найти ту же версию Python, те же библиотеки и те же системные зависимости, что и на машине разработчика. В Dockerfile я показывал, как выбрать базовый образ, установить зависимости, скопировать код и задать команду запуска. Из этого файла собирается образ, а уже из образа запускается контейнер.

В примере со слайда использован Python 3.8. На нём я показывал структуру Dockerfile.

FROM python:3.8-slim-buster
RUN pip install pandas scikit-learn
COPY app.py /
ENV PORT=8080
CMD ["python", "app.py"]

С GPU появляется отдельная зависимость от сервера. Для NVIDIA на хосте нужны драйвер и настроенный NVIDIA Container Toolkit. При запуске контейнера через Docker GPU можно передать с помощью --gpus. Команда nvidia-smi внутри контейнера помогает проверить, видит ли он устройство. Следующий тест уже прикладной — прогнать один запрос через модель и убедиться, что она действительно выполняет вычисления на GPU. Настройка NVIDIA Container Toolkit.

На слайде доступ к GPU проверялся этой командой. Для запуска выберите доступный тег CUDA-образа, совместимый с вашим хостом.

docker run --gpus all nvidia/cuda:11.0-base nvidia-smi

Compose собирает приложение на одном сервере

Когда в приложении несколько компонентов, нужно описать, как они общаются и где хранят данные. В лекции я взял StyleGAN как пример модели. Python-сервис обращается к ней по внутреннему адресу http://model:8000/check, где model — имя сервиса в Compose. Наружу можно открыть только порт Python-сервиса. Веса монтируются в контейнер модели, а данные PostgreSQL хранятся в именованном томе. Так контейнеры можно пересоздавать, сохраняя данные базы и подключая тот же файл весов.

На одном сервере эту схему удобно поднимать через docker compose up. Если ускоритель нужен только модели, доступ к нему можно дать только её контейнеру. Сеть в Compose · Доступ к GPU в Compose.

Docker ComposeClientserverPython · :8888/checkmodelInference · :8000PostgreSQLmodel.pklBind mountpostgres-dataNamed volume
Схема примера из лекции. Показаны путь HTTP-запроса и хранилища.

Для этого примера нужны исходники обоих сервисов и файл весов. Перед запуском задайте POSTGRES_PASSWORD.

services:
  server:
    build: ./server
    environment:
      PORT: 8888
      MODEL_ENDPOINT: "http://model:8000/check"
    ports:
      - "8888:8888"
  model:
    build: ./model
    volumes:
      - type: bind
        source: ./model/stylegan-ffhq-1024x1024.pkl
        target: /app/model.pkl
        read_only: true
  postgres:
    image: postgres:16
    environment:
      POSTGRES_USER: user
      POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?set POSTGRES_PASSWORD}
    volumes:
      - postgres-data:/var/lib/postgresql/data

volumes:
  postgres-data:

Что меняется, когда одного сервера уже мало

На одной машине заранее понятно, где запускается приложение, какой GPU ему доступен и куда приходят запросы. С несколькими серверами нужно решать, на каком узле запустить каждую реплику, как направить к ней запросы и что делать, когда узел выходит из строя. Узел может быть почти свободен, но для реплики модели всё равно понадобится доступный GPU на этом же узле.

Kubernetes размещает реплики и маршрутизирует запросы

В Kubernetes Deployment задаёт шаблон Pod и желаемое число реплик. Планировщик выбирает для Pod узел с нужными ресурсами. Если узел выпадает из кластера, Deployment позволяет запустить реплики на другом узле при наличии ресурсов. Service даёт клиентам стабильный адрес и направляет запросы к готовым репликам. Ingress вместе с контроллером позволяет маршрутизировать внешний HTTP-трафик к Service, например по пути /check.

KubernetesClientLoad balancerIngressServicePodPod
Схема маршрутизации через Ingress по мотивам слайда.

В примере каждый экземпляр модели запрашивает один GPU через nvidia.com/gpu: 1 в resources.limits. Этот ресурс публикует NVIDIA Device Plugin. Если кластеру доступны два подходящих GPU, а в Deployment указаны три реплики, третья будет ждать свободного устройства. Для модели число реплик напрямую связано с доступной ёмкостью кластера. Планирование GPU в Kubernetes.

В манифестах ниже метка app: mlapp совпадает у Pod и селектора Service. Предполагается, что образ доступен кластеру, приложение слушает порт 1234, а в кластере есть Ingress Controller для класса nginx.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: mlapp-deployment
  labels:
    app: mlapp
spec:
  replicas: 3
  selector:
    matchLabels:
      app: mlapp
  template:
    metadata:
      labels:
        app: mlapp
    spec:
      containers:
        - name: mlapp-container
          image: myregistry.com/mlapp:v0.2.3-fix3-gpu
          resources:
            limits:
              nvidia.com/gpu: 1
      tolerations:
        - key: nvidia.com/gpu
          operator: Exists
          effect: NoSchedule
---
apiVersion: v1
kind: Service
metadata:
  name: mlapp-service
spec:
  selector:
    app: mlapp
  ports:
    - protocol: TCP
      port: 80
      targetPort: 1234
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: mlapp-ingress
spec:
  ingressClassName: nginx
  rules:
  - http:
      paths:
      - path: /check
        pathType: Prefix
        backend:
          service:
            name: mlapp-service
            port:
              number: 80

Helm выносит параметры развёртывания в значения

Когда одну и ту же схему нужно устанавливать с разными образами, числом реплик или настройками хранилища, эти параметры можно вынести в values.yaml, а манифесты собрать в Helm-чарт. В лекции я показал оба варианта работы с чартами — установку готового JupyterLab с TensorFlow и GPU и создание собственного чарта из шаблона. Устройство Helm-чарта.

Создание собственного чарта на слайдах начинается с helm create mychart.

Пример values.yaml со слайда.

replicaCount: 1
image:
  repository: nginx
  tag: stable
  pullPolicy: IfNotPresent

В шаблоне Deployment образ берётся из values.yaml через такое выражение.

image: "{{ .Values.image.repository }}:{{ .Values.image.tag }}"

Если модель помещается на одной машине, я бы начал с неё. Когда становится трудно повторять окружение, помогает Docker. Когда приходится размещать реплики на нескольких узлах, направлять к ним запросы и восстанавливать их после сбоев, появляется работа для Kubernetes. Так проще понять, в какой момент каждый инструмент оправдывает свою сложность.