Senior Deep Learning Engineer (Real-time Voice Agent)

Мы ищем сильного Senior Deep Learning инженера в команду, которая создает голосовой AI принципиально нового уровня.

Наша цель — построить low-latency диалогового агента, общение с которым будет максимально естественным и отличимым от разговора с живым человеком только в положительную сторону. Наш агент должен не просто отвечать на вопросы, а уметь использовать внешние инструменты (function calling), проявлять эмпатию, управлять просодией (делать паузы, менять интонацию, вздыхать) и уверенно работать в условиях сильного фонового шума.

Для быстрого старта у нас уже есть мощный фундамент — наша audio-conditioned модель GigaChat Audio и LLM-based синтез речи GigaTTS.

Теперь перед нами стоят инженерные и research-вызовы: нужно превратить эту базу в идеального стримингового собеседника. Предстоит научить модель органично реагировать на перебивания (barge-in), удерживать сложный многошаговый контекст, работать с потоковым аудио (streaming input/output) без потери качества и адаптироваться под специфичные бизнес-домены.

Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!

Обязанности

• Audio-conditioned & Speech2Speech LLMs: дообучение моделей для достижения естественного, эмпатичного и инструктивного ответа.
• Real-time Interaction: адаптация архитектуры под стриминговый ввод/вывод, решение проблемы перебиваний (barge-in) и минимизация задержки (latency / Time-to-First-Audio-Token).
• Data-centric AI & Evaluation: дизайн сложных, многомерных метрик качества и проектирование хитрых срезов для сбора данных под edge-кейсы.
• Research & Architecture: проведение экспериментов с новыми компонентами (энкодеры аудио, новые поколения LLM) и внедрение их в пайплайн.
• Domain Adaptation: адаптация базового агента под сложные сценарии, требующие удержания длинного контекста и вызова внешних API.

Требования

• Уверенное владение Python и PyTorch: написание чистого, модульного кода, понимание ООП, типизации, умение писать тесты.
• Distributed Training: уверенный практический опыт распределенного обучения больших моделей, понимание принципов работы под капотом (Data/Tensor/Context/Expert Parallelism).
• Глубокая экспертиза в Deep Learning: уверенный практический опыт обучения LLM и/или Audio Foundation моделей.
• Data & Evaluation: опыт построения пайплайнов оценки качества и сбора данных для генеративных моделей.

Условия

• крупнейшее DS&AI community — более 600 DS-специалистов банка
• дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира
• возможность быть соавтором НИРов и статей для международных конференций
• возможность выбрать удобный формат работы: гибрид или офис
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• ипотека выгоднее до 7% для каждого сотрудника
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.