Data Engineer

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:

• Создание потоков (заданий) для загрузки и обработки информации;
• Создание витрин с данными;
• Преобразование необработанных данных в формат, подходящий для последующей обработки и анализа;
• Настройка сбора данных из множества источников в одно хранилище;
• Проверка корректности данных, отсеивание неполной или ошибочной информации (Data Quality);
• Участие в проектах развития и эксплуатации DWH решений в качестве инженера.

ЧТО МЫ ХОТИМ ВИДЕТЬ:

• Опыт коммерческой разработки на Python;
• Опыт работы с реляционными БД (Postgres/Greenplum);
• Опыт работы с Airflow;
• Отличное знание SQL: на уровне оконных функций, CTE, написания процедур;
• Умение настраивать ETL/ELT-процессы;
• Умение создавать витрины с данными;
• Умение проводить первичный анализ данных (фильтрация, очистка данных и трансформация).

БУДЕТ ПЛЮСОМ:

• Опыт создания и эксплуатации систем проверки качества данных (Data Quality).
• Знание методологии Data Vault
• Знание облачных технологий.