Data Engineer
до 250 000 ₽
- Мякинино
- Волоколамская
- Митино
Обязанности:
- Разработка ETL/ELT пайплайнов на Apache Airflow;
- Проектирование и реализация решений для интеграции источников данных (MongoDB, Kafka, S3, Postgres) в DWH;
- Работа с API различных сервисов для получения данных;
- Оптимизация запросов и архитектуры хранения в колоночных СУБД;
- Разработка сервисов обработки данных на Python (Pandas, Pydantic);
- Участие в проектировании архитектуры хранилища;
- Документирование архитектуры и процессов обработки данных;
Требования:
- Опыт работы Data Engineer от 2-ух лет;
- Уверенное владение Python 3.8+. Понимание принципов ООП, многопоточности, асинхронности и инструментов работы с БД (psycopg2, clickhouse-driver, SQLAlchemy);
- Практический опыт работы с Apache Airflow (2.10+), реляционный СУБД (Postgres), Kafka;
- Знание форматов данных JSON, XML, AVRO, Parquet;
- Опыт работы с GIT;
Будет плюсом:
- Опыт работы с Clickhouse, OpenMetadata, Docker, k8s, Debezium;
- Опыт в развертывании и администрировании Apache Airflow (2.0+).
Сравнение со средней зарплатой в похожих вакансиях:
194k
300k
125k
250k
450k
Адрес: Россия, Москва, МКАД, 69-й километр, внешняя сторона
Опубликована день назад
Похожие вакансии
Вакансии быстро закрываются — подпишитесь на наш канал в MAX сейчас, чтобы видеть их первыми.
Подписаться в MAX ... мониторинга качества данных Документирование архитектурных решений и процессов Что мы от вас ждем : 4+ лет в data ... в распределённых командах Глубокое знание SQL, оптимизация запросов Python (3+ года) для разработки data ... pipelines Колоночные СУБД: ClickHouse Оркестрация ETL/ELT: Airflow Понимание моделирования данных: Data ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
FUN&SUN- Москва
день назад
Мы ищем опытного Data Engineer, который усилит команду разработки внутренней платформы Flocktory. ... Engineer/инженер хранилища данных от 3х лет; опыт решения задач репликации данных, создания слоев данных ... data mesh.
- Можно удаленно
- Полный день
- Опыт от 3 лет
Flocktory- Москва
день назад
... федеральная сеть магазинов мужской и женской одежды в связи с расширением отдела ищет себе в команду Data ... Engineer/Дата-инженера.
- Можно удаленно
- Полный день
- Опыт от 3 лет
ФАКТОР- Москва
день назад
Сейчас мы находимся в поиске Data Science инженера данных в команду, которая занимается разработкой платформы ... Требования: Опыт работы с Python и ключевыми библиотеками для Data Science, такими как: Pandas, NumPy ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
Ростелеком- Москва
день назад
до 250 000 ₽
В связи с активным развитием проектов в компании открыта вакансия Data Engineer на проект Норильский ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
ИЦ АЙ-ТЕКО- Москва
12 дней назад