Data Engineer

Мы – команда «Газпромнефть – Цифровые решения», часть ИТ-функции «Газпром нефти». Команда, которая научила нейросети находить нефть, запустила первую в мире цифровую систему управления арктической логистикой и первой в мире заправила самолет по блокчейн. Мы переводим в «цифру» каждый этап работы современного нефтяника: от геологической разведки и бурения скважин до процесса переработки нефти и момента, когда она в виде топлива попадает в баки автомобиля, самолета или, например, становится битумом для строительства дорог. Активы «Газпром нефти» – это сотни петабайт данных, которые генерируют объекты компании в России и за рубежом. Нас вдохновляет идея развития цифрового будущего нефтегазовой отрасли и промышленности в целом.

Проект разработки корпоративного хранилища данных реализуется на стеке: MPP Greenplum, ETL платформы Informatica PowerCenter, Airflow, Apache NiFi и других инструментах. Работа в команде, выполняющей внедрение стратегии, процессов и инструментария управления корпоративными данными (Data Governance). Нам нужен разработчик.

Обязанности:

• Управление жизненным циклом хранилища данных: от проектирования до эксплуатации.
• Разработка и оптимизация ETL/ELT-процессов (Informatica, NiFi, Airflow).
• Контроль качества данных, мониторинг производительности DWH.
• Интеграция данных из разнородных источников (CRM, ERP, API, файлы, очереди).
• Внедрение и поддержка методологии Data Vault 2.0.
• Координация работы с DevOps (развертывание, CI/CD для DWH).
• Участие в пресейле технических решений для заказчиков.

Требования:

• Опыт работы с Greenplum (или аналогичными MPP-системами) — 2+ года.
• Глубокие знания SQL, оптимизации запросов, работы планировщика.
• Понимание Apache Airflow (написание DAG, сенсоры, hooks).
• Опыт работы с Informatica PowerCenter или аналогами (SSIS, Talend).
• Знание Data Vault 2.0 (практический опыт внедрения).
• Базовые навыки Python / Java / Scala для скриптинга и интеграций.
• Умение работать в Agile (Scrum, Kanban).
• Английский язык (уровень Intermediate+, чтение технической документации).

Будет плюсом

• Сертификации: Data Vault 2.0, Informatica, Greenplum.
• Опыт работы с облачными DWH (Snowflake, BigQuery, Redshift).
• Знание dbt (Data Build Tool).
• Опыт настройки Kubernetes для Airflow/NiFi.

Технические знания:

• Greenplum: администрирование, оптимизация запросов, партиционирование, работа с распределенными данными.
• Интеграция данных:
• ETL-инструменты (Informatica PowerCenter, Apache NiFi).
• Оркестрация (Apache Airflow).
• API (REST, SOAP), JDBC/ODBC, очереди (Kafka, RabbitMQ).
• Моделирование данных:
• Data Vault 2.0 (хабы, сателлиты, линки), Dimensional Modeling (звезда, снежинка).
• Алгоритмы и структуры данных: понимание хеширования, индексов, партиционирования, алгоритмов сортировки и соединения.
• Обработка потоковых данных: понимание работы Kafka Connect, RabbitMQ, потоковой трансформации. Архитектурные навыки:
• Понимание принципов работы MPP-систем (Greenplum) и колоночных СУБД.
• Понимание архитектуры Data Lake / Data Mesh. ​​​​​​​​​​​​​​

Мы предлагаем:

• Достойную твоего профессионального уровня заработную плату (уровень вознаграждения обсуждается индивидуально по результатам интервью)
• Годовую премию по результатам деятельности, дополнительную материальную мотивацию (премии от руководителя)
• Трудоустройство в аккредитованную ИТ компанию
• Качественную программу ДМС со стоматологией с первого месяца работы
• Современный офис, возможность гибридного формата работы (Спб, Мск)
• Неограниченный доступ к образовательному контенту на портале знаний от корпоративного университета
• Подписка на лучшие электронные библиотеки с подборками IT-литературы (и не только)
• Собственный центр профессионального развития, в котором проводятся комплексные программы обучения hard skills
• Внутренние демодни, коуч-дни, питчи – то, что поможет продвигать и совершенствовать проекты и собственные идеи
• Корпоративные скидки для изучения английского языка в малых группах онлайн и офлайн
• Регулярные карьерные марафоны, индивидуальные карьерные консультации и планы развития
• Общение вне рабочих рамок – независимо от того, в каком городе ты работаешь! От участия в корпоративных спортивных сообществах до онлайн-экскурсий и неформальных встреч в формате Random coffee

В «Газпром нефть» ты можешь:

• Получить уникальный профессиональный опыт
• Создавать смелые проекты с нуля и наблюдать за их влиянием на целую отрасль
• Быть вместе с теми, кого вдохновляют сверхсложные задачи
• Сочетать несколько ролей, быть частью нескольких команд или участвовать в кросс-функциональных командах
• Использовать возможности компании-лидера для своей самореализации и убедиться, что любой профессиональный опыт важен
• Быть среди тех, кто создает первую в России цифровую платформу для управления промышленной компанией нового поколения