Data Engineer Senior

LIAN — системный интегратор с фокусом в аналитике и управлении данными.

Мы работаем в трех направлениях:

1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.

2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.

3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков -крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.

Если ты любишь разбираться в банковских продуктах, увлекаешься эффективными решениями и хочешь видеть, как твои идеи воплощаются в жизнь — мы ищем именно тебя!

Обязанности:

• Мигрировать процессы для отчетности и аналитики и настраивать их регламентную загрузку;
• Работать с общебанковской data-платформой (data lake, dwh);
• Разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать оптимальный формат, структуру хранения и архитектуру интеграционных решений;
• Анализировать и оптимизировать производительность пайплайнов, инструментов и дата-сервисов;
• Развивать архитектуру данных и внедрять новые технологические решения и сервисы;
• Управлять обновлениями, настройками, устранять выявленные уязвимости, восстанавливать сервисы после сбоев, обрабатывать инциденты

Требования:

• Опыт работы в данной роли от 5 лет (опыт во время обучения в университете НЕ считается. Строго коммерческий опыт)
• Знание SQL на уровне оптимизации сложных запросов;
• Знание принципов работы классических и MPP-СУБД;
• Опыт разработки на Python и/или Java, Scala;
• Опыт оркестрации ETL-пайплайнов с помощью Airflow;
• Опыт работы с dbt;
• Опыт работы с продуктами экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop).
• Опыт Apache Spark (Spark DataFrames, Spark SQL);
• Знание банковской предметной области;
• Опыт работы на финтех проекте

Будет плюсом:

• Опыт работы с Kafka, Trino;
• Опыт работы с контейнерными технологиями и оркестрацией: kubernetes, helm;
• Знания и опыт CI/CD-практик и инструментов;

Условия:

• Аутстафф-проект
• Участие в интересных и масштабных проектах с классной молодой командой
• Сотрудничество через форму ИП или СЗ