ML-инженер

Мы создаем экосистему цифровых сотрудников на базе передовых открытых LLM/VLM-моделей. Наши AI-агенты автоматизируют ключевые операционные процессы, напрямую влияя на эффективность и конкурентное преимущество бизнеса наших заказчиков.

Вместе с нами тебе предстоит:

• Разработка ядра платформы: Проектирование и написание высокопроизводительных API-сервисов (FastAPI) для предоставления унифицированного доступа к LLM-моделям.
• Создание сервисов обвязки: Разработка микросервисов для управления жизненным циклом запросов: очереди, тарификация, управление квотами и доступами.
• Инструменты качества и метрик: Разработка сервисов для автоматизированного бенчмаркинга моделей, сбор технических (latency, throughput, TTFT) и продуктовых метрик.
• Архитектурная оптимизация: Проектирование отказоустойчивой архитектуры, работа с асинхронностью, кэшированием и оптимизацией путей передачи данных.
• Observability и мониторинг: Построение системы сквозного логирования и трейсинга для прозрачности работы инференса и быстрой диагностики проблем.
• Инфраструктурные сервисы: Разработка внутренних инструментов для автоматизации развертывания, тестирования и валидации новых версий моделей.

Какие знания и навыки для нас важны:

Must Have (Backend Core):

• Expert Python: Глубокое знание Python 3.10+, понимание работы интерпретатора, управления памятью, GIL и многопоточности/асинхронности.
• FastAPI & Asyncio: Уверенный опыт разработки высоконагруженных асинхронных сервисов на FastAPI/Starlette. Понимание принципов Event Loop.
• Архитектура и Паттерны: Опыт проектирования микросервисной архитектуры, знание паттернов проектирования (SOLID, Clean Architecture), опыт работы с REST и gRPC.
• Базы данных: Отличное знание SQL (PostgreSQL), опыт оптимизации запросов, работа с ORM (SQLAlchemy/Tortoise) и миграциями (Alembic).
• Брокеры и Кэш: Опыт работы с Redis (кэширование, очереди задач) и Kafka/RabbitMQ (построение event-driven систем).
• Testing: Культура написания тестов (Pytest), понимание TDD.

Будет плюсом (LLM/ML Context):

• Понимание специфики работы с LLM: что такое токенизация, эмбеддинги, контекстное окно, температура.
• Опыт интеграции с LLM-провайдерами (OpenAI API, Anthropic) или локального инференса (HuggingFace, vLLM, Ollama).
• Опыт построения RAG-систем (Retrieval Augmented Generation) и работы с векторными базами данных (ChromaDB, Qdrant, pgvector, Milvus).
• Понимание метрик качества работы LLM и опыт их сбора.