- Работа в Москве
- IT, интернет, связь, телеком
- Разработчик
- С++ разработчик в Маркет
С++ разработчик в Маркет
По договоренности
DMP Маркета — платформа для обработки данных хранилища Маркета. Мы создаём инструменты для DWH, BI и аналитиков данных и стремимся сделать их работу максимально удобной и эффективной. Наша команда из 6 человек работает над разнообразными проектами — от доработки движка Map-Reduce до использования LLM для генерации нейминга полей в хранилище. Мы ценим гибкость и умение взаимодействовать с заказчиками.
Перед нами стоят амбициозные цели: оптимизировать потребление вычислительных ресурсов на 20% CPU (а это тысячи ядер), внедрять новые технологии и распространять наши инструменты на весь Яндекс. Если вы талантливый разработчик и готовы принять вызов — присоединяйтесь к нам!
Какие задачи вас ждутРазвитие инфраструктуры
При обработке больших данных остро встает проблема производительности HDD. Для уменьшения нагрузки на диски необходимо доработать основной Map-Reduce инструмент для обработки и анализа данных - YQL (Yandex Query Language), чтобы данные между нодами расчета передавались через хранилище в RAM.
Разработка ETL инструментов, которыми пользуется весь Яндекс
Нашими инструментами пользуются не только в Маркете, но и в различных подразделениях Яндекса.
Например - сервис кэширования результатов SQL запросов при использовании BI инструмента DataLens. Данным сервисом пользуются во всем Яндексе. Только в Маркете количество пользователей более 1500.
Улучшение пользовательского опыта и эффективности
Наши пользователи - это Дата инженеры и Аналитики, взаимодействующие с различными продуктовыми данными. Для них мы создаем инструменты которые увеличивают их эффективность и позволяют удобно пользоваться инфраструктурными сервисами. Вам предстоит интегрироваться с инструментами из других частей Яндекса для создания бесшовного опыта. Участвовать в проектах для улучшения эффективности и стабильности, используя, в том числе, технологий LLM.
- Отлично знаете Python.
- Знаете базовые принципы и паттерны проектирования ПО.
- Стремитесь писать код, который легко читать и поддерживать.
- Имеете опыт работы с заказчиками (сбор требований, ведение проектов).
- Имеете опыт разработки на C++, Java.
- Работали с MPP-хранилищами (Greenplum, ClickHouse и т. д.).
- Знакомы с LLM и используете модели в работе, разрабатывали на основе GPT свои инструменты.
- Знаете слои DWH, модели хранения данных и процессы ETL.
- Понимаете принципы работы технологий распределённой обработки данных (Spark, Spark Streaming, Flink, MapReduce).
Опубликована день назад