Data Engineer Senior

LIAN — системный интегратор с фокусом в аналитике и управлении данными.

Мы работаем в трех направлениях:

1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.

2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.

3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков -крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.

На данный момент нам требуется эксперт в области Greenplum и Postgresql

О проекте: Перенос существующего корпоративного хранилища данных с MS SQL Server (диалект T-SQL) на Greenplum.

Уважаемые соискатели, оформление происходит по ИП , либо по СЗ (просим обратить внимание). Проект в формате аутстафф.

Обязанности:

• Миграция скриптов по загрузке в хранилище, ODS, DDS c MS SQL на Greenplum
• Миграция данных их текущего хранилища в Greenplum
• Оптимизация запросов ETL/ELT, и настройка там, где специфика Greenplum требует изменений структуры или логики запросов)

Требования:

• Глубокий опыт работы Greenplum и PostgreSQL в продакшене, включая:

Оптимизацию производительности (разбор и решение проблем с медленными запросами, блокировками, нагрузкой на сервер).

Диагностику и устранение проблем, когда аналитические запросы "кладут" прод (разбор планов запросов, настройка индексов, партиционирование и др.).

Пересчет больших объемов исторических данных (опыт работы с columnar extensions в Postgres будет плюсом).

• Опыт построения и сопровождения ETL-процессов, загружающих данные в Greenplum/PostgreSQL(Python , Airflow, NiFi и т. д.).

• Опыт работы с CDC (Change Data Capture) для Greenplum/PostgreSQL

• Умение анализировать и переписывать сложные многострочные SQL-запросы из Python-скриптов в gp-диалект SQL.

• Понимание специфики Greenplum (распределенные вычисления, партиционирование, оптимизация под MPP-архитектуру).

Будет плюсом:

• Навыки миграции с T-SQL (MS SQL) на Greenplum

Условия:

• Участие в интересных и масштабных проектах с классной молодой командой
• Аутстафф проект
• Сотрудничество через форму ИП или СЗ