Дата-инженер

Юзтех – группа аккредитованных ИТ-компаний полного цикла разработки с многолетней экспертизой в передовых технологиях: DWH, BigData, AI/ML, Blockchain, BI, предиктивная аналитика, цифровые двойники производства и рисков.

ГК Юзтех является технологическим партнером таких компаний, как Mail.ru, 2Gis, НЛМК, Еврохим, ГоИнвест, Альфа-Банк, Сбер, ВТБ, МКБ, Самолет, Х5 retail Group, Газпромнефть, Леруа Мерлен, Ситилинк, Ланит, IBS. Также, ГК разрабатывает собственные ИТ-продукты (Юзбас, Октопус, Тил Эйчар) и флагманские проекты, которыми пользуется 70% населения страны.

Задачи:

• Анализ существующих решений и витрин данных.

• Миграция витрин данных со стека Hadoop (Hive, Oozie, Spark 2.4, Impala) на стек Apache Iceberg + Spark 3.5 + Apache Airflow.

• Реализация недостающих реплик для витрин данных с источников с использованием готовых кодогенераторов.

• Переработка существующих решений на целевом стеке, в отдельных случаях — разработка решений с нуля по шаблонам.

• Построение и развитие витрин данных, участие в их тестировании и валидации.

• Наполнение и актуализация технической документации по разработанным решениям.

• Взаимодействие с командами разработки и аналитики в рамках проработки и внедрения решений.

• Уверенные знания SQL и Python.

• Опыт работы с Apache Spark.

• Практический опыт работы с хранилищами данных на базе Hadoop / S3 / S3-compatible storage.

• Обязательное знание и опыт работы с Apache Iceberg (таблицы, версии, schema evolution, partitioning).

• Опыт использования Apache Airflow для оркестрации и управления пайплайнами.

• Понимание форматов хранения данных, в том числе Parquet.

• Опыт работы с инструментами командной разработки: Git, CI/CD, трекерами задач и документацией (Jira, Confluence или аналоги).

• Навыки работы с форматами данных JSON, XML.

• Опыт системного анализа и тестирования data-решений.

• Базовое понимание работы реляционных СУБД.

• Базовые знания Kafka и принципов потоковой передачи данных.

Мы предлагаем:

• Карьерную и профессиональную возможность в стабильной, аккредитованной ИТ-компании;
• Расширенный полис ДМС со стоматологией, корпоративный психолог;
• Удаленную работу и гибкий график;
• Необходимую технику для комфортной работы;
• Обучение, сертификацию, клуб английского языка;
• Доступ к Корпоративной библиотеке и к Корпоративному университету;
• Внутрикорпоративные профильные коммьюнити;
• Заботу о детях сотрудников: корпоративные скидки, подарки, детские дни;
• Геймифицированную программу лояльности: поверь, ты будешь восторге от нашего корпоративного магазина;
• Корпоративную жизнь: мы много работаем и классно отдыхаем.