Инженер данных (Data Engineer) в команду аналитики продаж рекламы

Аналитика продаж — одно из направлений аналитики в коммерческом департаменте Поиска. Команда продаж занимается привлечением новых рекламодателей в рекламные продукты Яндекса и поддержкой существующих.
Аналитика — мониторингом и развитием эффективности продаж. У нас две большие задачи: (1) оцифровывать активности отделов продаж и оценивать их влияние на рекламодателей; (2) в лице бизнес-партнёров помогать бизнесу принимать data-driven-решения в развитии компании.

Наша аналитическая инфраструктура растёт, а ETL-процессы становятся всё более сложными. Поэтому мы ищем талантливого инженера данных для усиления нашей команды. Вы будете отвечать не только за извлечение ценных инсайтов из данных, но и за активное развитие нашей инфраструктуры.

Какие задачи вас ждут:

• Инфраструктура

В результате работы аналитиков рождается много кода и регулярных процессов по поставке данных. Мы хотим, чтобы наши процессы были устойчивыми, а разработка — удобной. Для этого вам предстоит: работать над улучшением регламентов разработки проектов и их документации для аналитиков, взаимодействовать с департаментом инфраструктуры для координации по техническим вопросам. Оркестрировать систему управлениями доступами, ресурсами и квотами. Поддерживать систему мониторинга расчёта регулярных процессов и очистки ненужных данных. Поддерживать и развивать CI/CD процессы. Улучшать процедуры ревью кода, в том числе с использованием AI (GPT) помощников. Ориентир занятости — 30% времени.

• Работа с данными

Часть наших задач можно решить, работая с представлениями данных, при помощи простых SQL-запросов, Python-скриптов в Jupyter notebook и выгрузок в Excel. Однако другая часть требует ресурсоёмких и логически сложных процессов, в особенности при работе с логами. Это подразумевает разработку, поддержку и оптимизацию ETL процессов с использованием SQL, Python, DataFrame API в Spark и инструментов IDE, VSC. Цель — обеспечить эффективный доступ к данным и их использованию в BI-системах. Ориентир занятости — 50% времени.

• Аналитика

Основной продукт, который мы поставляем нашим заказчикам, — данные и их инсайты. Предстоят такие виды работы, как: выявление трендов, аномалий и закономерностей в данных, автоматизация процессов по аналитическим триггерам. Оценка эффективности работы продаж. Оценка прогнозов и потенциалов, в том числе с использованием ML-алгоритмов, проведением A/B-экспериментов и многое другое. Ориентир занятости — 20% времени.

Мы ждем, что вы:

• Не менее пяти лет работали в аналитике данных
• Имеете опыт разработки, ревью кода, практики использования Git
• Понимаете принципы DevOps и CI/CD — есть практический опыт
• Свободно владеете SQL и понимаете устройство баз данных
• Уверенно работаете с Python и используете принципы ООП
• Занимались разработкой ETL-процессов
• Работали с технологиями Big Data (Spark, Hive, Hadoop)
• Знаете статистику и имеете опыт в машинном обучении
• Обладаете хорошими коммуникативными навыками

Будет плюсом, если вы

• Получили ИТ-, математическое или техническое образование
• Знакомы или работали с BI-системами (Datalens, Tableau, Power BI)
• Владеете базовыми принципами А/B-тестирования
• Знакомы с областью продаж или интернет-рекламы