ETL / BigData-инженер (Data Engineer)
По договоренности
Группа компаний «Специальные системы и технологии» (ГК «ССТ») — крупнейший в России и один из ведущих в мире производителей нагревательных кабелей, систем электрообогрева, специальной электротехники и взрывозащищенного оборудования.
Компания входит в тройку мировых производителей систем электрообогрева и занимается разработкой, проектированием, производством, поставкой, монтажом, а также дистрибуцией систем электрообогрева.
ООО "ДельтаПроект"(входит в ГК «ССТ») является аттестованной ИТ компанией и занимается поддержкой и развитием ИТ-инфраструктуры, разработкой программного обеспечения и цифровых продуктов, анализом и цифровизацией бизнес-процессов.
В нашу компанию мы приглашаем ETL / BigData-инженера (Data Engineer).
Наши требования:
- От 2 лет опыта в роли Data Engineer / ETL-разработчика;
- Уверенный SQL, опыт оптимизации запросов;
- Python на уровне продуктовой разработки пайплайнов;
- Опыт с Airflow (или аналогом оркестратора);
- Опыт работы с распределёнными фреймворками: Spark / Flink;
- Опыт работы хотя бы с одной MPP/аналитической БД: Greenplum, ClickHouse, Vertica, Snowflake, BigQuery.
Будет плюсом:
- Опыт с Kafka, Debezium, CDC-процессами;
- Опыт с Hadoop-экосистемой (HDFS, Hive);
- Опыт с dbt;
- Опыт с Kubernetes и IaC (Terraform);
- Понимание принципов Data Vault / Anchor Modeling.
Ключевой стек:
- Python, SQL, Airflow, Spark, Kafka, Greenplum / ClickHouse, Hadoop, Docker, Git.
Задачи:
- Разработка и поддержка ETL/ELT-пайплайнов из различных источников (БД, API, файлы, брокеры сообщений);
- Построение слоёв хранилища: RAW, ODS, DDS, витрины;
- Оптимизация производительности запросов и пайплайнов;
- Мониторинг, алертинг, обеспечение качества данных (Data Quality);
- Взаимодействие с аналитиками, DS и бизнес-заказчиками по требованиям к данным;
- Документирование пайплайнов и витрин.
Мы предлагаем:
-
Работу в аккредитованной ИТ компании;
-
Официальную заработную плату;
-
Оформление по ТК РФ;
-
График работы 5/2, формат работы обсуждается;
-
ДМС после прохождения испытательного срока;
-
Возможность карьерного и профессионального роста.
Опубликована 11 часов назад
Похожие вакансии
- Можно удаленно
- Полный день
- Опыт от 1 года
- Мытищи
- Можно удаленно
- Полный день
- Опыт от 1 года
- Мытищи
- Можно удаленно
- Полный день
- Опыт от 1 года
- Мытищи
- Можно удаленно
- Полный день
- Опыт от 1 года
- Мытищи
- Можно удаленно
- Полный день
- Опыт от 1 года
- Мытищи