ML/LLM-инженер (on-prem, агентные системы)

О проекте
NWIRE разрабатывает систему автоматизированного документооборота для крупной компании. Языковая модель проверяет и исправляет документы п и корпоративным шаблонам (текст, таблицы, рисунки, формулы), сверяет данные между главами и собирает итоговый пакет. Интерфейс - плагин для Яндекс Трекера, серверная часть на Go, модель работает на GPU-сервере в контуре заказчика.

Обязанности:

• Выбор открытой языковой модели (Qwen, DeepSeek, GLM и др.) и бенчмарк на контрольном наборе реальных документов.
• Развертывание и оптимизация инференса on-prem: vLLM / SGLang, квантизация (FP8/INT4), длинный контекст, настройка под нагрузку.
• Проектирование агентного пайплайна: промпты, tool calling, разбиение задач между моделью и детерминированными скриптами.
• Работа с DOCX: разбор и правка структуры документа, связка с рендерингом (LibreOffice) для контроля верстки.
• Метрики качества и регрессионные тесты: доля найденных ошибок, отсутствие ложных исправлений.
• Сопровождение опытно-промышленной эксплуатации, доработка по обратной связи пользователей.

Оборудование

• Целевая платформа: on-prem сервер Huawei Atlas 650E - 8× Ascend 950DT, 1 152 ГБ памяти HBM. Окончательный выбор будет сделан позже. Этот сервер проще всего привезти.

• На старте: разработка и подбор модели на арендованных GPU NVIDIA в Яндекс Облаке, затем перенос на собственный сервер заказчика.

• Стек на Ascend: CANN, MindIE / vLLM-Ascend. Нужна готовность разбираться с его особенностями: поддержка моделей, квантизация, производительность.

• От 3 лет в ML/NLP, из них от 1 года - практическая работа с LLM в продакшене.
• Опыт self-hosted инференса открытых моделей (vLLM, SGLang, TGI или аналоги); понимание влияния памяти GPU, KV-кэша и контекста на производительность.
• Опыт построения LLM-агентов или пайплайнов с tool calling.
• Уверенный Python, Linux, Docker.
• Умение выстроить оценку качества модели на собственных данных.

• Проект на 6 месяцев с возможностью продолжения (поддержка, развитие, тиражирование)

• Удаленный формат работы

• Оформление: ИП или самозанятость по ставке в час

• Вознаграждение - ежемесячно по факту затраченного времени