Tech Lead Data Engineering (Lakehouse, ETL/DWH)

Мы являемся частью цифрового блока ОАО «РЖД» и в настоящее время находимся в поиске сотрудника для одного из наших бизнес-юнитов, который занимается исследованием и разработкой программных продуктов.

Мы Цифровой спутник РЖД ищем опытного и заинтересованного разработчика, который хочет принять участие в новом проекте по созданию корпоративной аналитической платформы для «РЖД-Медицины» — решение с хранилищем данных, ETL-конвейерами и BI-слоем, развёртываемое в Kubernetes.

Стек технологий: Lakehouse, dbt, StarRocks, Python, Airflow, GitLab CI/CD, Kafka, S3-хранилища, Luxms BI

Команда: архитекторы, ПМ, devops, разработчики ETL\BI, QA, аналитики.

Задачи:

• Разработка и оптимизация ETL-процессов для интеграции данных из различных источников;

• Проектирование и поддержка потоков данных для хранилищ и аналитических систем;

• Написание и оптимизация SQL-запросов для обработки больших объемов данных;

• Контроль качества и целостности данных в процессе их обработки и загрузки;

• Автоматизация ETL-процессов и настройка мониторинга их выполнения;

• Участие в проектировании архитектуры данных и интеграционных решений, декомпозиция и формирование задач;

• Взаимодействие с командой аналитиков, разработчиков и администраторов для реализации бизнес-требований;

• Ведение технической документации по разработанным ETL-процессам;

• Проектирование логических структур данных для обеспечения удобного и надежного доступа к информации.

Требования:

• Опыт работы ETL-разработчиком или на аналогичной позиции от 3 лет;
• Практический опыт работы с ETL-инструментами (Airflow, dbt, Informatica, Talend, Apache NiFi, Pentaho Argo или др.);
• Опыт работы с реляционными OLAP СУБД (Greenplum, Arenadata db, ClickHouse, Vertica или аналогичными). Углубленные знания одной из СУБД будут плюсом;
• Опыт оптимизации процессов обработки данных и написания сложных SQL-запросов;
• Опыт работы с dbt;
• Уверенные знания Python;
• Знание основ моделирования DWH;
• Опыт в разработке Data Vault или Anchor Modeling;
• Опыт построение хранилищ по подходам Кимбалл, Инмон;
• Умение собирать витрины данных (DMF);
• Профилирование запросов и мониторинг СУБД;
• Анализ и настройка конфигураций СУБД.

Мы предлагаем:

• Работу в аккредитованной IT-компании, которая разрабатывает ПО, обеспечивающее непрерывность перевозочного процесса и эксплуатацию критической инфраструктуры РЖД;

• Трудоустройство по ТК РФ;

• Удаленный формат работы (можно работать в офисе, если есть желание);

• Годовую премию;

• Комфортный офис в центре Москвы (2 мин. от м. Красные ворота);

• Уровень заработной платы обсуждаем индивидуально, в зависимости от профессиональных компетенций и результатов технического собеседования.

Большая просьба, указать уровень ожидаемого дохода в сопроводительном письме! Спасибо!)