Senior Data Engineer

• Контроль качества данных, внедрение проверок и мониторинг корректности витрин.
• Разработка и поддержка витрин данных
• Проектирование и оптимизация SQL-запросов для формирования витрин и проверок качества данных.
• Взаимодействие с командами продуктовой аналитики и бизнес-подразделениями для уточнения требований.
• Подготовка документации и описание логики витрин и проверок
• Разработка ETL-процессов и пайплайнов (Airflow/Oozie/Spark).

1. SQL:
• Уверенное владение SQL, опыт применения различных типов JOIN и оптимизации запросов.
• Опыт работы с базами данных: PostgreSQL, Oracle, MSSQL, Cassandra, Redis, Greenplum.
• Понимание принципов data quality (контроль, мониторинг, валидации).
• Знание HDFS-стека: Hive, Spark (PySpark), Hue, Oozie, Airflow.
• Навыки работы в терминале с HDFS.
• Базовые навыки оптимизации хранения и доступа к данным.

2. Знание Python и опыт анализа и обработки данных.

3. Опционально:
• Опыт разработки проверок качества данных
• Имеет опыт решения задач с Bl-инструментами (PowerBl/Tableau)
• Потоковая обработка данных с помощью Kafka/Flink
• Опыт работы с feature store/market инструментами
• Опыт работы с внешними источниками данных (создание ETL процессов)
• Понимание принципов работы ML/AI-моделей и требований к данным для их обучения.