Инженер данных в команду DWH
По договоренности
- Марксистская
- Третьяковская
- Театральная
Мы ищем Инженера данных в команду DWH, где основная задача - поддержка инфраструктуры Единого аналитического хранилища Рекламной платформы.
Стек: Trino, ClickHouse, Airflow, PySpark, DBT.
Вам предстоит:
- разрабатывать витрины для конечного пользователя;
- интегрировать данные из различных источников (Kafka, S3, Greenplum, Clickhouse БД, API) в DWH;
- реализовывать преобразования данных с учётом бизнес-логики и требований к качеству;
- обеспечивать надёжность пайплайнов;
- разрабатывать DQ-проверки (валидность, полнота, консистентность) и встраивать их в пайплайны;
- оптимизировать производительность обработки данных
Формат работы - гибридный или удаленный формат работы по договоренности с руководителем.
Вы нам подходите, если:- опыт работы от 4 лет в Devops:
- уверенно владеете стеком Trino, HDFS, S3, Airflow, Apache Iceberg;
- владеете опытом работы с мониторингом (Prometheus + Grafana);
- был опыт работы с Хранилищем данных.
Адрес: Россия, Москва, улица Большая Ордынка, 40с4
Опубликована 16 часов назад
Похожие вакансии
Вакансии быстро закрываются — подпишитесь на наш канал в MAX сейчас, чтобы видеть их первыми.
Подписаться в MAX Мы готовим рефакторинг курса «Инженер данных» и ищем авторов, которые поделятся своей экспертизой. ... Мы ищем инженеров данных с опытом работы по специальности от 3-ёх лет. ... Работа с аналитическими базами данных (Vertica, S3).
- Можно удаленно
- Подработка
- Опыт от 3 лет
Яндекс- Москва
4 дня назад
Основная цель – разработка витрин данных и дата продуктов (операционный блок). ... Наш стек: Базы данных: GreenPlum, ClickHouse; ETL: Airflow, Spark, PL/pgSQL; Объектное хранилище: HDFS ... данных, реализацию ETL для data - продуктов, а также обеспечение их эффективной работы.; Мониторинг ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
АО «ОТП Банк» (JSC «OTP Bank»)- Москва
19 дней назад
... пользуемся S3 Impala Airflow Spark DBT Python Чем ты будешь заниматься Участием в миграции Хранилища данных ... в Data Lake Разработкой пайплайнов доставки и обработки данных для формирования витрин Написанием и ... Python Опыт создания ETL-процессов Понимание основ баз данных ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
МАГНИТ, Розничная сеть- Москва
16 дней назад
... страны сервисы и услуги медицинского направления и системы для здравоохранения страны Нам требуется инженер ... /администратор данных: Стек технологий: JS, SQL, Python, Postgres, ETL Airflow/NiFi, Data Analysis, Data ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
Цифромед- Москва
21 день назад
Нормализация и обогащение событий безопасности; Проектирование и оптимизация аналитического хранилища данных ... (ClickHouse / StarRocks / аналоги); Подготовка витрин данных под быстрые запросы и аналитику; Эксплуатация ... Kubernetes: деплой, ресурсы, отказоустойчивость, масштабирование; Обеспечение наблюдаемости и качества данных ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
Cloud.ru- Москва
19 дней назад
Вакансия в подборках
Похожие вакансии
АО «ОТП Банк» (JSC «OTP Bank»)МАГНИТ, Розничная сеть