LLMOps / ML Platform Engineer

LLMOps / ML Platform Engineer (Self-Hosted LLM)

О компании

Мы —продуктовая IT-команда, разрабатывающая собственные информационные системы. Работаем с современным технологическим стеком и микросервисной архитектурой. В связи с развитием продукта ищем LLMOps / ML Platform Engineer, который разработает нам сервисы для LLM и оптимизирует их работу на «железе».

Задачи

• Разработка и поддержка продакшен-сервисов под собственную LLM (backend / API / internal services), системы синтеза и распознавания речи, оптимизация инференса отдельных компонентов и системы в целом для NRT эксплуатации
• Построение и развитие DevOps-pipeline для ML-сервисов: сборка, деплой, обновления, мониторинг; внедрение и развитие практик MLOps:
  • CI/CD для ML-сервисов
  • наблюдаемость (логи, метрики, трассировка)
  • управление версиями и релизами моделей
• Контейнеризация решений и эксплуатация в Kubernetes (AWS + on-prem).
• Совместная работа с backend-командой.

Требования обязательные:

• Опыт коммерческой разработки от 3 лет.
• Уверенное владение Python, SOLID, многопоточная и асинхронная разработка, оптимизация сервисов на Python под быстродействие.
• Опыт разработки серверных сервисов (REST/gRPC).
• Понимание жизненного цикла ML/LLM решений в продакшене; понимание подходов оптимизации ML-пайплайнов для инференса
• Понимание особенностей основных архитектур и пайплайнов NN/ML решений, прежде всего в области ASR, TTS, LLM; понимание разницы между real-time и batch инференсом;
• Практический опыт Docker и контейнеризации
• Опыт работы с GPU (деплой, конфигурация, эксплуатация); наличие решений в продакшен

Требования желательные:

• Опыт эксплуатации ML-сервисов в AWS и/или on-prem.
• Работа с monitoring/observability (Prometheus, Grafana, OpenTelemetry и аналоги).
• Опыт оптимизации inference-нагрузок (batching, caching, resource tuning).
• Опыт реализации CI/CD для ML-проектов.
• Знакомство с vLLM/llama.cpp/TGI, Triton/TorchServe, Onnx

Условия

• Удалённая работа, полная занятость.
• Продакшен-задачи, влияние на архитектуру и инфраструктурные решения.
• Конкурентная зарплата (готовы обсуждать по опыту).