Data Engineer
По договоренности
- Чернышевская
- Площадь Восстания
- Владимирская
-
Участие в миграции данных и процессов с MS SQL на Postgres Pro
-
Построение и сопровождение CDC-процессов из PostgreSQL в DWH на ClickHouse
-
Разработка и поддержка ETL/ELT-пайплайнов (Airflow, Python, SQLMesh) - Оптимизация запросов и структур данных, диагностика проблем производительности
-
Администрирование БД
-
Взаимодействие с пользователями БД по вопросам архитектуры и нагрузки
-
Описание источников и моделей данных в каталоге данных на OpenMetadata
-
Передача экспертизы команде: стандарты, документация, ревью решений
- Высшее образование (ИТ, точные науки, инженерное)
- Опыт работы от 3-х лет по специальности
- Глубокое понимание архитектуры PostgreSQL: MVCC, WAL, autovacuum, планировщик, блокировки
- Опыт работы с HA-кластерами PostgreSQL (Patroni, BiHA или аналоги): понимание механизмов failover и switchover, их влияние на приложения и потоки данных
- Понимание физической и логической репликации и их влияния на нагрузку
-
Практический опыт построения CDC (Debezium, логическая репликация или аналоги)
-
Умение анализировать планы выполнения и оптимизировать запросы - Опыт проектирования индексов и партиционирования
-
Уверенное владение Python и опыт работы с Apache Airflow Будет плюсом опыт работы со следующими технологиями: Postgres Pro, ClickHouse
-
Опыт эксплуатации HA-кластеров PostgreSQL (Patroni или аналоги)
-
Опыт работы с OpenMetadata или другими каталогами данных
-
Опыт работы с трансформационными пакетами dbt или SQLMesh
- Работа в одной из крупнейших управляющих компаний России
- Полное соблюдение требований трудового законодательства
- Бонусы по итогом года
- Социальный пакет (ДМС + другие виды страхования для работников, дни самозаботы)
- Корпоративные мероприятия
Опубликована 15 часов назад
Похожие вакансии
- Полный день
- Опыт от 3 лет
ИнфоТеКС- Санкт-Петербург
- Полный день
- Опыт от 3 лет
АРЕАЛ- Санкт-Петербург
- Полный день
- Опыт от 3 лет
BI Consult- Санкт-Петербург
- Полный день
- Опыт от 3 лет
Дартс рекрутинг сервисез- Санкт-Петербург
- Полный день
- Опыт от 3 лет
MARSHALL- Санкт-Петербург
Вакансия в подборках
Похожие вакансии
ИнфоТеКСАРЕАЛBI ConsultДартс рекрутинг сервисез