Инженер данных

Мы ищем сильного дата инженера, который умеет не только работать с готовыми данными, но и самостоятельно выстраивать весь процесс: от загрузки и трансформации до витрин, автоматизаций и контроля качества.

Вам предстоит:

• Разработка и поддержка витрин данных.
• Автоматизация процессов на Python и Airflow.
• Написание и оптимизация сложных SQL-запросов.
• Работа с большими объемами данных в Spark.
• Загрузка данных в КХД из Excel, API и различных БД.
• Перенос и объединение данных между разными системами и СУБД.
• Проектирование структуры таблиц и архитектуры данных.
• Разработка ad hoc автоматизаций и внутренних решений.
• Настройка чекеров и Data Quality: полнота, дубли, freshness, аномалии, бизнес-правила.
• Мониторинг загрузок, витрин и алертов при ошибках.

Что важно:

• Сильный SQL и понимание оптимизации запросов.
• Уверенный Python.
• Практический опыт с Airflow и Spark / PySpark.
• Понимание ETL / ELT и принципов построения data pipelines.
• Знание разных типов СУБД и их особенностей: PostgreSQL / Greenplum, ClickHouse, Trino / Presto или аналогов.
• Понимание OLTP / OLAP, column-store / row-store, MPP-архитектуры.
• Умение проектировать таблицы, выбирать гранулярность, ключи, партиционирование и структуру витрин.

Будет плюсом:

• Опыт построения DWH.
• dbt, Kafka, Docker, Git / CI/CD.
• Great Expectations, Soda или другие инструменты Data Quality.
• Опыт работы с Data Lineage и Data Observability.

Ищем человека, который может получить задачу в формате «есть несколько источников, Excel и API, нужно собрать надежную витрину» и самостоятельно довести ее до работающего автоматизированного решения.

Формат работы - гибридный по договоренности с руководителем