Data Engineer
По договоренности
Data Engineer (опыт Airflow обязателен)
В новую цифровую платформу с большим количеством интеграций ищем Data Engineer . Опыт с ETL Apache Airflow от 3 лет обязателен!
Обязанности:
- Написание новых Dags в Airflow для интеграции с внешними источниками. Формат- API у источнику или парсинг на источнике
- Поддержка существующих Dags в Airflow -оптмизация и рефакторинг
- Формирование таблиц для BI системы из внутренних источников данных
- Мониторинг и обработка ошибок в существующих интеграциях
- Работа по Data Quality загружаемых данных
- Работа с PostgreSQL
- Работа с шиной сообщений (NATS) для интеграции с внешними системами
- Участие в выработке технических решений по ETL , декомпозиция бизнес и системных требований
Требования:
- Написание новых Dags в Airflow для интеграции с внешними источниками. Формат- API у источнику или парсинг на источнике
- Поддержка существующих Dags в Airflow -оптмизация и рефакторинг
- Формирование таблиц для BI системы из внутренних источников данных
- Мониторинг и обработка ошибок в существующих интеграциях
- Работа по Data Quality загружаемых данных
- Работа с PostgreSQL
- Работа с шиной сообщений (NATS) для интеграции с внешними системами
- Участие в выработке технических решений по ETL , декомпозиция бизнес и системных требований
Условия:
- Удаленный формат работы
- Живой продукт с большим количеством интеграций (внешние площадки, агрегаторы)
Опубликована 10 дней назад
