Ведущий Data Engineer

Мы ищем опытного Data Engineer в нашу Data команду, которая отвечает за данные и все, что с ними связано в рекламной платформе X5 Медиа.

Наша команда глубоко участвует на всех этапах решения бизнес-задач:

• Проработка бизнес-требований совместно с аналитиками.
• Поиск, загрузка, исследование и трансформация необходимых данных.
• Построение оптимальных решений как по качеству данных так и по производительности.
• Интеграция результатов нашей работы с другими подразделениями (прямые интеграции, микросервисы).

Кроме этого, мы поддерживаем собственную инфраструктуру, которая держит высокую нагрузку и способна обрабатывать большие объемы данных.

Чем предстоит заниматься:

• Поиск, загрузка и разложение необходимых данных в нашей платформе.
• Прорабатывать архитектурные решения для реализации бизнес-задач;
• Решать алгоритмические и оптимизационные задачи в том числе с большими данными и в высоконагруженных сервисах.
• Писать эффективный, читаемый и поддерживаемый код.
• Разрабатывать внутренние инструменты и библиотеки.

Технический стек: Python, ClickHouse, Airflow, In-house Cloud

Мы ожидаем:

• Большой опыт разработки от 5 лет (из них не менее 3-х лет на Python и с СУБД).
• Глубокие знания и опыт работы хотя бы с одной СУБД: ClickHouse, PostgreSQL, MySQL
• Опыт работы с данными (умеете с помощью данных решать бизнес задачи).
• Способны самостоятельно взять бизнес-задачу/проблему и довести ее до оптимального решения.
• Понимание основных принципов построения распределённых систем хранения и обработки данных.
• Знание алгоритмов и структур данных.