Data Engineer

По договоренности

Москва

Смоленская
Киевская
Парк Победы

Нужен Data Engineer, который сможет взять на себя часть непрофильной для аналитиков работы по автоматизации отчётов, превращению моделей в сервисы, оптимизации запросов, а также сможет выстроить процесс код ревью, CI\CD Pipeline.

Наш стек: MPP (Vertica, ClickHouse), Python+ Airflow, Hive, PySpark.

Вам предстоит:

Работать со слоями данных RAW, ODD, DDS: создавать их и развивать;
Проектирование и разработка витрин данных для анализа и моделирования;
Оптимизация процессов ETL, система мониторинга обновления витрин и источников данных;
Изучение способов повышения качества и надёжности данных;
Предоставление экспертной поддержки по оптимизации обработки данных на клиенте: Jupyter + Python;
Поддержка и развитие базы знаний.

Мы ожидаем:

Отлично знаешь SQL, знаком с Vertica, Clickhouse, владеешь концепцией DWH;
Умеешь программировать на Python;
Знаком с командной строкой Unix-систем;
Есть опыт работы с BI-инструментами: в идеале Superset, но опыт с другими BI тоже подойдет, если ты готов осваивать новый инструмент;
Работал с Airflow, Hadoop, Spark (Pyspark), Gitlab;
Хорошо представляешь, как работает e-com;
Способен взять ответственность свое направление и готов к самостоятельному решению задач с большой степенью неопределенности.

⚡ Откликнуться на hh.ru

Адрес: Россия, Москва, Центральный административный округ, Пресненский район, Московский международный деловой центр Москва-Сити, многофункциональный комплекс Башня на Набережной

Показать на большой карте