Data Scientist (LLM)

Задачи:

• Разработка production NLP/LLM-решений: AI Code Assistant (Co-Pilot), AI Chat, Agents.
• Проектирование агентских и неагентских LLM-пайплайнов: tool/function calling, маршрутизация, обработка ошибок, управление контекстом/состоянием.
• Интеграция в корпоративную среду: сервисы и API, внутренние API/БД.
• Оптимизация инференса: latency/throughput, лимиты/контекст, кэширование/батчинг, квантование.
• Анализ логов/метрик/трейсов; тестирование на регрессии качества/производительности.
• Проведение исследований и создание прототипов / MVP AI решений на базе LLM, с последующим доведением до продакшена.
• Интеграция и анализ новых LLM для существующих микросервисов.
• Исследование новых технологий и подходов для улучшения продукта.

Требования:

• Сильный Python 3-5 лет. Разработка сервисов и API (FastAPI или аналоги), очереди/воркеры/фоновые задачи, интеграции во внутренние системы.
• Опыт разработки и поддержки production-сервисов на основе NLP/LLM.
• Опыт вывода LLM в прод со скалированием и балансировкой нагрузки.
• Практический опыт построения RAG / Knowledge DB на базе корпоративных данных: эмбеддинги, retrieval (векторный/гибридный), reranking, контроль качества.
• Знания API / LLM Gateway на базе LiteLLM или аналогов: gateway/router, управление ключами, маршрутизация, лимиты.
• Инструменты работы с LLM: vLLM, SGLang, HuggingFace, LangChain/LlamaIndex (или аналоги);
• Опыт построения agentic/non-agentic пайплайнов с tool/function calling (контракты инструментов, устойчивость вызовов, стабильное качество).

Будет плюсом:

• Опыт построения AI агентов, мультиагентных систем, оркестрации инструментов.
• Понимание основных метрик качества LLM решений, опыт проведения A/B-тестов и офлайн-оценки (eval-сеты, human eval).
• Опыт работы и интеграции MCP.