Data Engineer

Нужен Data Engineer, который сможет взять на себя часть непрофильной для аналитиков работы по автоматизации отчётов, превращению моделей в сервисы, оптимизации запросов, а также сможет выстроить процесс код ревью, CI\CD Pipeline.

Наш стек: MPP (Vertica, ClickHouse), Python+ Airflow, Hive, PySpark.

Вам предстоит:

• Проектирование и разработка витрин данных для анализа и моделирования;
• Оптимизация процессов ETL, система мониторинга обновления витрин и источников данных;
• Изучение способов повышения качества и надёжности данных;
• Предоставление экспертной поддержки по оптимизации обработки данных на клиенте: Jupyter + Python;
• Поддержка и развитие базы знаний.

Мы ожидаем:

• Обязательный стек, с которым ты работал: Hadoop, Spark (Pyspark)
• Отлично знаешь SQL, знаком с Vertica, Clickhouse, владеешь концепцией DWH.
• Умеешь программировать на Python.
• Знаком с командной строкой Unix-систем.
• Есть опыт работы с BI-инструментами: в идеале Superset, но опыт с другими BI тоже подойдет, если ты готов осваивать новый инструмент.
• Работал с Airflow
• Хорошо представляешь, как работает e-com.
• Способен взять ответственность свое направление и готов к самостоятельному решению задач с большой степенью неопределенности.