Team Lead развития DWH

НИИ «ВОСХОД» — мультисервисный партнер государства в области информационных технологий с 1972 года. Мы создаем инновационные ИТ-решения для органов власти, внедряем и развиваем новые форматы эффективного взаимодействия между государством и обществом.

Институт специализируется на разработке и эксплуатации информационных систем, услугах в области информационной безопасности (в том числе создании средств криптографической защиты информации), а также разработке и развитии ИТ-архитектуры современных информационных систем и цифровых платформенных решений.

НИИ «ВОСХОД» включен в реестр аккредитованных ИТ-компаний и организаций оборонно-промышленного комплекса.

Обязанности:

• Формирование и реализация технических решений, архитектуры развития Платформы данных
• Ревью кода и технических решений команды
• Контроль и разработка новых ELT-процессов
• Контроль логики подготовки данных (выборка, очистка, генерация признаков, интеграция, формирование)
• Мониторинг текущих процессов обработки данных
• Проектирование логики построения аналитических витрин данных
• Оптимизация моделей данных
• Самостоятельная разработка и личный контроль реализации сложных витрин
• Контроль, разработка и оптимизация sql-запросов и сборки витрин
• Контроль описания данных и проверки качества
• Управление задачами дата-инженеров
• Развитие каталога данных, сканеров данных, data leneage, хранилища метаданных

• От 3х лет в аналогичной должности

• От 5 лет - в аналитике (SQL), работы инженером данных / аналитиком данных

• Не менее 2х реализованных проектов по внедрению хранилищ данных

• Преимущество: опыт создания хранилищ метаданных

• Технические инструменты:
  • глубокое знание SQL (PL/SQL), написание сложных запросов
  приоритетно:
  • Greenplum, Clickhouse, PostgreSQL
  • Python (pandas, numpy)
  дополнительно:
  • Airflow, Kafka, NiFi, Pentaho, SAP DS
  • MongoDB, S3, Ceph,
  • Teradata, Hadoop (Spark/PySpark, Hive, Hbase)
  • REST API, dblink
  • Opensearch, Elasticsearch
  • Tarantool, Redis, Ignite
  преимущество:
  • Работа с Parquet, Avro
  • Опыт обработки потоковых данных
  • PostGIS

• Проектирование и развитие архитектуры хранилищ данных:
  • Понимание архитектуры хранилищ данных, знание современных подходов к проектированию КХД в зависимости от потребностей организации (слои хранилищ данных: ODS, DDS, MART и пр), стриминговая и потоковая обработка данных
  • DAMA DMBOK - преимущество

• Работа в профессиональной молодой команде;
• Стабильная и конкурентоспособная заработная плата;
• Оформление по ТК РФ;
• Комфортный, просторный офис (м. Проспект Вернадского/м. Мичуринский проспект);
• Бесплатная охраняемая парковка на территории офиса.
• Спортивный зал в офисе;
• Гибридный график работы