Вакансия в архиве
Инженер данных в команду DWH
По договоренности
- Марксистская
- Третьяковская
- Театральная
Мы ищем Инженера данных в команду DWH, где основная задача - поддержка инфраструктуры Единого аналитического хранилища Рекламной платформы.
Стек: Trino, ClickHouse, Airflow, PySpark, DBT.
Вам предстоит:
- разрабатывать витрины для конечного пользователя;
- интегрировать данные из различных источников (Kafka, S3, Greenplum, Clickhouse БД, API) в DWH;
- реализовывать преобразования данных с учётом бизнес-логики и требований к качеству;
- обеспечивать надёжность пайплайнов;
- разрабатывать DQ-проверки (валидность, полнота, консистентность) и встраивать их в пайплайны;
- оптимизировать производительность обработки данных
Формат работы - гибридный или удаленный формат работы по договоренности с руководителем.
Вы нам подходите, если:- опыт работы от 4 лет в DE:
- уверенно владеете стеком Trino, HDFS, S3, Airflow, Apache Iceberg;
- владеете опытом работы с мониторингом (Prometheus + Grafana);
- был опыт работы с Хранилищем данных.
Адрес: Россия, Москва, улица Большая Ордынка, 40с4
Опубликована 2 месяца назад
Похожие вакансии
Вакансии быстро закрываются — подпишитесь на наш канал в MAX сейчас, чтобы видеть их первыми.
Подписаться в MAXОсновная цель – разработка витрин данных и дата продуктов (операционный блок). ... Наш стек: Базы данных: GreenPlum, ClickHouse; ETL: Airflow, Spark, PL/pgSQL; Объектное хранилище: HDFS ... данных, реализацию ETL для data - продуктов, а также обеспечение их эффективной работы.; Мониторинг ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
АО «ОТП Банк» (JSC «OTP Bank»)- Москва
2 дня назад
Вам предстоит: Проектировать и сопровождать ETL/ELT‑пайплайны для построения Feature Store и витрин данных ... Настраивать и развивать мониторинг качества данных и качества инференса моделей (data quality, model ... Взаимодействовать с DS‑ и ML‑инженерами для продакшенизации моделей (от подготовки фич до запуска инференса ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
RWB (Wildberries & Russ)- Москва
44 минуты назад
ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ: Поддерживать и развивать инфраструктуру Хранилища Данных Обеспечивать высокого ... , обновлять непромышленные сред ХД Настраивать CI/CD-пайплайны Внедрять механизмы контроля качества данных ... командами в рамках решения инцидентов ХД НАШИ ПОЖЕЛАНИЯ К КАНДИДАТУ: Хорошие знания в области обработки данных ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
ДОМ.РФ- Москва
3 дня назад
... и внедрение: Разработка архитектуры СХД по SLA, внедрение SDS-решений (MinIO, vSAN, RBD) и миграция данных ... анализировать логи и дампы для проведения Root Cause Analysis (RCA) сбоев контроллеров и повреждения данных ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
RWB (Wildberries & Russ)- Москва
5 дней назад
... в PostgreSQL и Hadoop-экосистеме; Внедрение процессов контроля качества данных, настройка проверок полноты ... , согласованности и актуальности данных на всех этапах их трансформации; Участие в приёмке и доработке ... кандидата: Опыт разработки на Python (написание production-кода, работа с библиотеками для обработки данных ...
- Можно удаленно
- Подработка
- Опыт от 3 лет
Бэнкс Софт Системс- Москва
7 дней назад
В дирекции по управлению данными открыта позиция аналитик данных/инженер по качеству данных. ... В нашей команде тебе предстоит: Сбор прототипов витрин данных; Разработка и оптимизация SQL-запросов ... для извлечения данных из различных источников; Анализ и интерпретация больших объемов данных для выявления ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
X5 Tech- Москва
9 дней назад
Вакансия в подборках
Похожие вакансии
АО «ОТП Банк» (JSC «OTP Bank»)RWB (Wildberries & Russ)RWB (Wildberries & Russ)