Lead Data Engineer

Привет!

Департамент информационных технологий внедряет технологии, которые делают Москву комфортнее и безопаснее, а жизнь горожан — удобнее и мобильнее.
Например, записаться к врачу с помощью сервиса ЕМИАС, проверить домашнее задание и оценки ребенка в Московской электронной школе, подать показания счетчиков через портал mos ru — это лишь часть услуг и сервисов, доступных москвичам и реализуемых ДИТ.

Какие знания и навыки нам важны::

• Python, Airflow, PySpark (30%)
  Проектирование и разработка ETL/ELT пайплайнов обработки и трансформации данных.
  Обеспечение высокой производительности и отказоустойчивости процессов.
  GIT
• Greenplum + Data Vault (40%)
  Проектирование и разработка DWH по методологии Data Vault
  Оптимизация структуры хранения и sql запросов под Greenplum
  Написание сложных запросов с большим кол-вом join, оконных функций.
  Настройка и использование PXF для ELT
  Использование Liquibase или аналог для миграций.
• Clickhouse (20%)
  Построение эффективных витрин данных
  Оптимизация структуры хранения и sql запросов под Clickhouse
• Openmetadata (5%)
  Настройка мониторинга и контроля качества данных, документирование метаданных.
• Инструменты визуализации (Yandex DataLens) (5%)
  Автоматизация процессов формирования аналитических отчетов.

Что нужно делать:

• Построение эффективных витрин данных;
• Проектирование и разработка ETL/ELT пайплайнов обработки и трансформации данных.
  Обеспечение высокой производительности и отказоустойчивости процессов.
  GIT
• Оптимизация структуры хранения и sql запросов под Clickhouse;
• Проектирование и разработка DWH по методологии Data Vault;
• Оптимизация структуры хранения и sql запросов под Greenplum;
• Написание сложных запросов с большим кол-вом join, оконных функций;
• Настройка и использование PXF для ELT

Что предлагаем:

• График 5/2, гибридный формат;
• Оформление по ТК РФ, полностью белая зарплата

• Мы - аккредитованная ИТ компания

• Корпоративное обучение у топовых провайдеров и доступ к онлайн-библиотеке

• Корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие

• Комьюнити по интересам

• Скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.
  
  Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!