С++ разработчик в Маркет

По договоренности


DMP Маркета — платформа для обработки данных хранилища Маркета. Мы создаём инструменты для DWH, BI и аналитиков данных и стремимся сделать их работу максимально удобной и эффективной. Наша команда из 6 человек работает над разнообразными проектами — от доработки движка Map-Reduce до использования LLM для генерации нейминга полей в хранилище. Мы ценим гибкость и умение взаимодействовать с заказчиками.

Перед нами стоят амбициозные цели: оптимизировать потребление вычислительных ресурсов на 20% CPU (а это тысячи ядер), внедрять новые технологии и распространять наши инструменты на весь Яндекс. Если вы талантливый разработчик и готовы принять вызов — присоединяйтесь к нам!

Какие задачи вас ждут

Развитие инфраструктуры
При обработке больших данных остро встает проблема производительности HDD. Для уменьшения нагрузки на диски необходимо доработать основной Map-Reduce инструмент для обработки и анализа данных - YQL (Yandex Query Language), чтобы данные между нодами расчета передавались через хранилище в RAM.

Разработка ETL инструментов, которыми пользуется весь Яндекс
Нашими инструментами пользуются не только в Маркете, но и в различных подразделениях Яндекса.
Например - сервис кэширования результатов SQL запросов при использовании BI инструмента DataLens. Данным сервисом пользуются во всем Яндексе. Только в Маркете количество пользователей более 1500.

Улучшение пользовательского опыта и эффективности
Наши пользователи - это Дата инженеры и Аналитики, взаимодействующие с различными продуктовыми данными. Для них мы создаем инструменты которые увеличивают их эффективность и позволяют удобно пользоваться инфраструктурными сервисами. Вам предстоит интегрироваться с инструментами из других частей Яндекса для создания бесшовного опыта. Участвовать в проектах для улучшения эффективности и стабильности, используя, в том числе, технологий LLM.

Мы ждем, что вы
  • Отлично знаете Python.
  • Знаете базовые принципы и паттерны проектирования ПО.
  • Стремитесь писать код, который легко читать и поддерживать.
  • Имеете опыт работы с заказчиками (сбор требований, ведение проектов).
Будет плюсом, если вы
  • Имеете опыт разработки на C++, Java.
  • Работали с MPP-хранилищами (Greenplum, ClickHouse и т. д.).
  • Знакомы с LLM и используете модели в работе, разрабатывали на основе GPT свои инструменты.
  • Знаете слои DWH, модели хранения данных и процессы ETL.
  • Понимаете принципы работы технологий распределённой обработки данных (Spark, Spark Streaming, Flink, MapReduce).

Поделиться:

Опубликована день назад

Мы обрабатываем данные посетителей и используем куки в соответствии с политикой конфиденциальности.