Data Engineer
до 250 000 ₽
- Мякинино
- Волоколамская
- Митино
Обязанности:
- Разработка ETL/ELT пайплайнов на Apache Airflow;
- Проектирование и реализация решений для интеграции источников данных (MongoDB, Kafka, S3, Postgres) в DWH;
- Работа с API различных сервисов для получения данных;
- Оптимизация запросов и архитектуры хранения в колоночных СУБД;
- Разработка сервисов обработки данных на Python (Pandas, Pydantic);
- Участие в проектировании архитектуры хранилища;
- Документирование архитектуры и процессов обработки данных;
Требования:
- Опыт работы Data Engineer от 2-ух лет;
- Уверенное владение Python 3.8+. Понимание принципов ООП, многопоточности, асинхронности и инструментов работы с БД (psycopg2, clickhouse-driver, SQLAlchemy);
- Практический опыт работы с Apache Airflow (2.10+), реляционный СУБД (Postgres), Kafka;
- Знание форматов данных JSON, XML, AVRO, Parquet;
- Опыт работы с GIT;
Будет плюсом:
- Опыт работы с Clickhouse, OpenMetadata, Docker, k8s, Debezium;
- Опыт в развертывании и администрировании Apache Airflow (2.0+).
Сравнение со средней зарплатой в похожих вакансиях:
200k
302k
130k
250k
452k
Адрес: Россия, Москва, МКАД, 69-й километр, внешняя сторона
Опубликована месяц назад
Похожие вакансии
... данных с Qlik Replicate (CDC, стриминг в Kafka/Redshift); настройка источников (SQL, NoSQL) и целей (data ... Требования: опыт в data engineering от 3-х лет; опыт с Qlik Replicate/Talend от 1 года; опыт с SQL, Java ... /Python; опыт с data modeling (star schema); опыт full lifecycle ETL.
- Можно удаленно
- Полный день
- Опыт от 3 лет
IBS- Москва
день назад
Будешь лидом для BI Developer, Data Engineer и DevOps part-time: код-ревью, спринты, рост команды. ... Строил data-платформы в e-commerce или продуктах. ... Рост: хочешь стать Head of Data? У нас это реально по мере роста команды.
- Можно удаленно
- Полный день
- Опыт от 3 лет
MAREE- Москва
день назад
Сейчас мы в поиске Data Engineer в нашу команду.
- Можно удаленно
- Полный день
- Опыт от 3 лет
ИТР- Москва
6 дней назад
Сейчас мы приглашаем в свою команду Data Engineer, который будет отвечать за совершенствование нашего ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
Онлайн-школа Тетрика- Москва
6 дней назад
Практика Applied Intelligence включает консультационные услуги по Data-driven трансформации, услуги по ... разработке корпоративных хранилищ и фабрик данных, включая Big Data / Data Lakes, автоматизации отчетности ... источников данных Активное взаимодействие со смежными командами Требования: Опыт в разработке DWH/ETL, Data ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
Axenix (ранее Accenture)- Москва
7 дней назад
300 000 - 315 000 ₽
Выше средней на 6%
Мы с удовольствием рассмотрим твою кандидатуру, если ты имеешь: - опыт работы в роли Data Engineer от ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
Снэп АйТи- Москва
8 дней назад