C++ разработчик, Базовые модели

Привет! Это команда Базовые модели.

Современные модели смотрят на товарные карточки глазами покупателей и помогают подобрать именно те товары, которые отвечают на потребность покупателя, выраженную в поисковом запросе. Команда базовых моделей отвечает за предобучение моделей и оптимизацию инференса.

В настоящий момент времени ядром команды оптимизации является коллега с 8 годами опыта работы в Nvidia, стоявшим у истоков разработки TensorRT. На этой позиции выполняется как непосредственно написание cuda-ядер и интеграция их в бэкенд, так и создание сервисов на основе оптимизированного бэкенда, реализация дополнительного функционала для интеграции сервиса в мл-инфраструктуру Озон.

Наш стек:

C++, CUDA, PyTorch, Python, Docker, Hadoop stack (pySpark, hive, hdfs)

Вы будете:

• заниматься написанием лучевого поиска для данных размерностей lm_head и длины контекста
• запускать на оптимизированном бэкенде и провалидировать модель исследовательской команды, созданную на обобщенном бэкенде
• писать компонент сбора метрик для оптимизированного инференс-сервиса

Нам важно:

• практический, может и небольшого, опыта с CUDA
• интерес к низкоуровневой оптимизации
• отличное владения алгоритмами и подходами выполнения распределенных вычислений
• знания архитектур llm
• стремление самостоятельно довести результаты команды до продакшена

Работать в Ozon Tech — это

• Решать уникальные highload-задачи и сокращать time to market.
• Создавать решения, которых ещё нет на рынке.
• Влиять на продукты и процессы.
• Управлять своим карьерным треком и развиваться вместе с компанией.
• Быть частью сильного комьюнити, которым мы гордимся.