Вакансия в архиве
Инженер данных в команду DWH
По договоренности
- Марксистская
- Третьяковская
- Театральная
Мы ищем Инженера данных в команду DWH, где основная задача - поддержка инфраструктуры Единого аналитического хранилища Рекламной платформы.
Стек: Trino, ClickHouse, Airflow, PySpark, DBT.
Вам предстоит:
- разрабатывать витрины для конечного пользователя;
- интегрировать данные из различных источников (Kafka, S3, Greenplum, Clickhouse БД, API) в DWH;
- реализовывать преобразования данных с учётом бизнес-логики и требований к качеству;
- обеспечивать надёжность пайплайнов;
- разрабатывать DQ-проверки (валидность, полнота, консистентность) и встраивать их в пайплайны;
- оптимизировать производительность обработки данных
Формат работы - гибридный или удаленный формат работы по договоренности с руководителем.
Вы нам подходите, если:- опыт работы от 4 лет в DE:
- уверенно владеете стеком Trino, HDFS, S3, Airflow, Apache Iceberg;
- владеете опытом работы с мониторингом (Prometheus + Grafana);
- был опыт работы с Хранилищем данных.
Адрес: Россия, Москва, улица Большая Ордынка, 40с4
Опубликована 4 месяца назад
Похожие вакансии
Вакансии быстро закрываются - скачайте мобильное приложение в RuStore и откликайтесь первыми!
Скачать бесплатноИщем Инженера данных, который будет отвечать за построение и автоматизацию пайплайнов подготовки больших ... Обязанности: разрабатывать на Python пайплайны для сбора, обработки и подготовки данных; автоматизировать ... для разметки; организовывать загрузку данных и метаинформации в S3-совместимое объектное хранилище; ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
- Москва
17 часов назад
В дирекции по управлению данными открыта позиция аналитик данных/инженер по качеству данных. ... В нашей команде тебе предстоит: Сбор прототипов витрин данных; Разработка и оптимизация SQL-запросов ... для извлечения данных из различных источников; Анализ и интерпретация больших объемов данных для выявления ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
- Москва
16 дней назад
Мы ищем в нашу команду инженера данных. ... Чем предстоит заниматься Реализация и наполнение витрин данных (ClickHouse, PotgresSQL) Разработка batch ... и streaming потоков данных с использованием AirFlow, Dagster и Apache Kafka Проработка требований и ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
- Москва
месяц назад
80 000 - 120 000 ₽
Ищем QA-инженера, который выстроит системное тестирование агента и замкнёт цикл «нашли баг → разметили ... данные → дообучили модель → проверили, что баг закрыт». ... чёткой классификацией: ошибка распознавания речи, неверный переход по сценарию, неправильно извлечённые данные ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
- Москва
2 дня назад
... развивать микросервисы и data процессы, создавать витрины и ML-фичи, обеспечивать обработку и доставку данных ... Создание витрин, агрегатов и ML фичей для антифрод моделей; Работа с большими объемами исторических данных ... ; Понимание batch и streaming обработки; Опыт работы с реляционными и in-memory базами данных; Понимание ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
- Москва
месяц назад
Настройка и поддержка репликации данных.
- Можно удаленно
- Полный день
- Опыт от 3 лет
- Москва
месяц назад
Вакансия в подборках
Похожие вакансии
80 000 - 120 000 ₽