Инженер данных
По договоренности
- Марксистская
- Третьяковская
- Театральная
Обязанности:
- Проектирование и разработка ETL/ELT: Создание, поддержка и оптимизация пайплайнов обработки данных с использованием Apache Airflow (написание DAG-ов, настройка сенсоров и операторов);
- Интеграция источников: Подключение и вычитка данных из различных систем: CRM, API, внешние базы данных (PostgreSQL, ClickHouse, HDFS);
- Разработка витрин данных: Построение и оптимизация витрин для BI-отчетности, написание сложных SQL-запросов и хранимых процедур;
- Внедрение систем мониторинга качества данных, логирования (Prometheus + Grafana) и проверки данных на всех этапах пайплайна;
- Документация: Ведение технической документации.
- Python: Опыт написания скриптов, работы с Pandas, API, написание промышленного кода;
- SQL) Написание сложных запросов, оконные функции, оптимизация запросов, хранимые процедуры;
- Airflow: Обязательно. Разработка DAG-ов, настройка коннекторов, управление зависимостями, понимание архитектуры (Scheduler, Worker, Web Server);
- Опыт работы с PostgreSQL;
- Опыт администрирования самого Airflow (настройка, деплой);
- Понимание важности SLA (времени доставки данных) и качества данных. Будет плюсом;
- Системное мышление;
- Проактивность;
- Коммуникабельность. Готовность общаться с аналитиками;
- Ориентация на результат.
- Официальное трудоустройство в крупнейшем кондитерском холдинге России.
- График работы 5/2, стабильный рабочий день с 09-00 до 18-00.
- Офис в шаговой доступности от м. Павелецкая.
- Возможности для профессионального роста и развития.
Адрес: Россия, Москва, 2-й Новокузнецкий переулок, 13/15
Опубликована 20 дней назад
Похожие вакансии
Нужны деньги до новой зарплаты? Кредитка Platinum от Т-Банка — до 1 000 000 ₽, 55 дней без %. Доставим сегодня бесплатно.
Получить карту... ; Работа с данными: получение данных из ИС компании, проверка их качества, очистка, преобразование, документирование ... источников; Документирование процедур по анализу данных; Взаимодействие с владельцами данных, получение ... данных, согласование требований, консультации по выявленным несоответствиям в ходе проверок внутреннего ...
- Полный день
- Опыт от 3 лет
Группа «Интер РАО»- Москва
3 часа назад
Опыт работы с ColumnStore БД ClickHouse Разработка аналитических хранилищ и витрин данных для бизнес-пользователей ... Работа c большими объёмами данных (сотни Тб в несжатом виде), HighLoad системами: подходы, практики ...
- Полный день
- Опыт от 3 лет
СБЕР- Москва
8 дней назад
Мы занимаемся организацией жизненного цикла данных - от поставки в аналитическое хранилище до охлаждения ... Проектируем и реализуем архитектуру хранилища, развиваем процессы контроля качества и защиты данных. ... Являемся амбассадорами культуры работы с данными и хороших инженерных практик в целом.
- Полный день
- Опыт от 3 лет
БЮРО 1440- Москва
13 дней назад
... , их валидация на исторических данных, подбор оптимальных гиперпараметров. • Интеграция разработанных ... Знание методов обработки данных (подготовки датасетов для обучения), метрик оценки качества. ... . • Опыт аналитической работы с данными, понимание методов математической статистики.
- Полный день
- Опыт от 3 лет
Альфа-Банк- Москва
14 дней назад
Проектирование и разработка ETL/ELT-паплайнов для обработки структурированных и неструктурированных данных ... (тексты, изображения, видео); Организация и поддержка хранилища данных, включая объективные, реляционные ... Требования: Высшее образование (математика, компьютерные науки, физика, инженерия и смежные области); ...
- Полный день
- Опыт от 3 лет
ГРЧЦ, ФГУП- Москва
12 дней назад
ELT‑потоков (Airflow, dbt); Управление метаданными: создание data catalog, документирование lineage данных ... ; Обеспечение Data Quality: валидация данных на всех этапах, настройка алертов при аномалиях; VictoriaMetrics ... с 1С, работа с 1С OData, REST, SQL; Опыт интеграций с REST источниками данных (сайты, сервисы), с SQL ...
- Полный день
- Опыт от 3 лет
Москвариум- Москва
20 дней назад
Вакансия в подборках
Похожие вакансии
Группа «Интер РАО»БЮРО 1440Альфа-Банк