LLM Engineer

Мы ищем человека, который будет отвечать за качество и развитие LLM-решений в продукте — от первых гипотез до стабильной работы в продакшене.

Что предстоит

• проектировать архитектуру LLM-фичей: single-prompt решения, цепочки промптов, сложные пайплайны;

• управлять поведением модели через промпт-инжиниринг (CoT, few-shot, structured outputs, tool calling и др.), подбор параметров и работу с контекстом — без fine-tuning;

• совместно с продактами продумывать логику диалогов и пользовательские сценарии;

• выстраивать систему оценки качества: golden-сеты, валидационные выборки, метрики, бенчмарки, LLM-as-a-judge;

• анализировать продакшн-логи и фидбек пользователей, находить системные проблемы и улучшать решения;

• участвовать в организации разметки данных — писать гайды, проверять результаты, при необходимости размечать самостоятельно;

• вместе с разработчиками доводить решения до полноценной интеграции в продукт.

Что важно для нас

• Практический опыт работы с LLM от 1 года: реальные кейсы, а не только эксперименты.

• Уверенный Python и привычка работать с данными (Jupyter, pandas, визуализация).

• SQL и понимание, как собрать датасет под задачу и проверить гипотезу.

• Опыт работы с OpenAI API или аналогами.

• Понимание, как тестировать LLM-решения: регресс-проверки, offline-метрики, human eval, A/B-тесты.

Будет плюсом

• Автоматическая оптимизация промптов (GEPA и другие подходы).

• Опыт выстраивания процессов разметки и автоматизации evaluation.

• Работа с observability и eval-инструментами (LangFuse, MLflow, LangSmith, DeepEval и др.).

• Опыт построения агентных систем и RAG-архитектур.

• Знакомство с фреймворками оркестрации (LangChain, LangGraph или аналоги).

Мы предлагаем

• Работу в команде экспертов.
• Широкий технологический стек, сотни проектов.
• Гибкий график работы, который позволяет высыпаться и выделять время на хобби.
• Льготы и меры господдержки, предусмотренные для IT-компаний (аккредитованы Минцифры*).
• Возможность разрабатывать IT-решения для разных отраслей, пробовать новые технологии.
• У нас выстроены процессы удаленной работы, при этом есть просторные офисы с зонами коворкинга, где можно с комфортом пообщаться, поиграть в настолки или в тишине обдумать рабочие задачи.
• Возможность прокачаться во всех интересующих направлениях: стать тимлидом, архитектором, разработчиком full-stack.
• Развитую систему менторства, сертификацию за счёт компании, участие в конференциях, изучение английского языка.
• Активный обмен опытом, внутренние и внешние митапы по разработке, хакатоны, доклады по развитию hard и soft skills.
• 50+ клубов по интересам и профессиональных сообществ внутри компании;
• Уютный мерч.
• Полный соцпакет и «белую» зарплату.
• Корпоративную базу знаний и социальную сеть для удобства общения с каждым из 1500+ сотрудников.
• Гибкую систему бонусов, которая настраивается под индивидуальные потребности: различные уровни ДМС, оплата обучения и занятий любыми видами спорта.
• Заботу о ментальном здоровье: онлайн-консультации с психологом.

* Решение Министерства цифрового развития, связи и массовых коммуникаций РФ о предоставлении государственной аккредитации организации, осуществляющей деятельность в области информационных технологий от 10.03.2022 №АО-20220309-3771014210-3