Data Engineer

LIAN — системный интегратор с фокусом в аналитике и управлении данными.

Мы работаем в трех направлениях:

1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.

2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.

3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков -крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.

На данный момент мы заинтересованы в Data Engineer с уровнем Middle+ или Senior для банковского проекта.

Обязанности:

• Разработка и проектирование архитектуры БД
• Проведение Code Review

Требования:

• Глубокие теоретические знания стека технологий и практический опыт (Spark, Hadoop, Hive; Kubernetes (K8S))
• Опыт оптимизации запросов
• Опыт написания программ распределенных вычислений (Spark) и ETL процессов
• Умение находить ответы на вечные вопросы ("кто записал 2кк файлов размером в 10 килобайт в hdfs" и т.п.)
• Python 3.7 + Spark 2.4 / Spark 3.0
• Хорошее знание SQL
• Опыт работы с бизнес требованиям (сбор, формирование требований, анализ), опыт работы в условиях постоянно меняющихся требований
• Умение узнавать где, как и когда получать нужные данные
• Опыт/понимание разработки и проектирования архитектуры БД, создание и манипуляции с БД (PostgresQL, Greenplum, Clickhouse, а также SQLAlchemy)
• Применение и любовь к PEP, а также линтерам, Flake8 / PyLint Black
• Написание докстрингов и нормальных наименование переменных функций/иных сущностей в коде
• Любовь к тестам Unittest
• Опыт проведения Code Review
• Понимание процессов CI/CD
• Docker Git, GitLab, CI / CD, разрешение конфликтов
• Shell (bash), Linux

Условия:

• Аутстафф-проект
• Участие в интересных и масштабных проектах с классной молодой командой
• Сотрудничество через форму ИП или СЗ