Data Engineer

Эта вакансия размещена в рамках HR-направления нашего ИТ-агентства letitgo.agency. Мы помогаем найти специалиста не в нашу команду, а в штат компании-партнёра.

Обязанности:

• Контроль качества данных, внедрение проверок и мониторинг корректности витрин.
• Разработка и поддержка витрин данных.
• Проектирование и оптимизация SQL-запросов.
• Взаимодействие с командами продуктовой аналитики и бизнес-подразделениями для уточнения требований.
• Подготовка документации и описание логики витрин и проверок.
• Разработка ETL- процессов и пайплайнов (Airflow/Oozie/Spark).
• Создание процедур контроля качества данных для витрин – разработка и внедрение проверок, гарантирующих точность, полноту и согласованность отображаемой информации.
• Организация мониторинга проверок и оперативного реагирования на инциденты – построение системы наблюдения, автоматических оповещений и быстрых действий при обнаружении отклонений.
• Разработка и согласование SLA с системами‑источниками данных, утверждение SLA с поставщиками.

Требования:

• Знание SQL на уровне уверенного владения, есть опыт применения различных типов JOIN и оптимизации запросов.
• Опыт работы с базами данных: PostgreSQL, Oracle, MSSQL, Cassandra, Redis, Greenplum.
• Понимание принципов data quality (контроль, мониторинг, валидации).
• Знание HDFS-стека: Hive, Spark (PySpark), Hue, Oozie, Airflow.
• Навыки работы в терминале с HDFS.
• Базовые навыки оптимизации хранения и доступа к данным.
• Знание Python и наличие опыта анализа и обработки данных.
• Желательно:
• Опыт разработки проверок качества данных
• Опыт решения задач с Bl-инструментами (PowerBl/Tableau)
• Опыт потоковой обработки данных с помощью Kafka/Flink
• Опыт работы с feature store/market инструментами
• Опыт работы с внешними источниками данных (создание ETL процессов)
• Понимание принципов работы ML/AI-моделей и требований к данным для их обучения.

Условия:

• Оформление по ТК РФ, белая зарплата
• Гибридный график работы (3/2, ст. м. "Технопарк")
• ДМС, социальные гарантии, бонусы
• Комфортный офис