Инженер данных
По договоренности
- Марксистская
- Третьяковская
- Театральная
Обязанности:
- Проектирование и разработка ETL/ELT: Создание, поддержка и оптимизация пайплайнов обработки данных с использованием Apache Airflow (написание DAG-ов, настройка сенсоров и операторов);
- Интеграция источников: Подключение и вычитка данных из различных систем: CRM, API, внешние базы данных (PostgreSQL, ClickHouse, HDFS);
- Разработка витрин данных: Построение и оптимизация витрин для BI-отчетности, написание сложных SQL-запросов и хранимых процедур;
- Внедрение систем мониторинга качества данных, логирования (Prometheus + Grafana) и проверки данных на всех этапах пайплайна;
- Документация: Ведение технической документации.
- Python: Опыт написания скриптов, работы с Pandas, API, написание промышленного кода;
- SQL) Написание сложных запросов, оконные функции, оптимизация запросов, хранимые процедуры;
- Airflow: Обязательно. Разработка DAG-ов, настройка коннекторов, управление зависимостями, понимание архитектуры (Scheduler, Worker, Web Server);
- Опыт работы с PostgreSQL;
- Опыт администрирования самого Airflow (настройка, деплой);
- Понимание важности SLA (времени доставки данных) и качества данных. Будет плюсом;
- Системное мышление;
- Проактивность;
- Коммуникабельность. Готовность общаться с аналитиками;
- Ориентация на результат.
- Официальное трудоустройство в крупнейшем кондитерском холдинге России.
- График работы 5/2, стабильный рабочий день с 09-00 до 18-00.
- Офис в шаговой доступности от м. Павелецкая.
- Возможности для профессионального роста и развития.
Адрес: Россия, Москва, 2-й Новокузнецкий переулок, 13/15
Опубликована 5 часов назад
Похожие вакансии
Вакансии быстро закрываются — подпишитесь на наш канал в MAX сейчас, чтобы видеть их первыми.
Подписаться в MAX ELT‑потоков (Airflow, dbt); Управление метаданными: создание data catalog, документирование lineage данных ... ; Обеспечение Data Quality: валидация данных на всех этапах, настройка алертов при аномалиях; VictoriaMetrics ... с 1С, работа с 1С OData, REST, SQL; Опыт интеграций с REST источниками данных (сайты, сервисы), с SQL ...
- Полный день
- Опыт от 3 лет
Москвариум- Москва
4 часа назад
Сейчас мы ищем дата инженера в новое направление в связи с переходом от разрозненной Excel-отчетности ... к централизованной работе с данными. ... В БУДУЩЕМ СОТРУДНИКЕ МЫ ИЩЕМ: Опыт работы дата инженером от 4 лет; Практический опыт проектирования и ...
- Полный день
- Опыт от 3 лет
2MOOD- Москва
4 часа назад
от 200 000 ₽
Выше средней на 21%
Обязанности Обеспечивать надёжную, масштабируемую и своевременную доставку качественных данных от источников ... Computer Science, математика, информатика, физика или смежные) Опыт работы (лет): От 2 лет в роли Дата-инженера ... Облачные платформы Базы данных и хранилища (PostgreSQL, ClickHouse, BigQuery, Redshift и др.) ...
- Полный день
- Опыт от 3 лет
Эстилаб Рус- Москва
5 часов назад
... хранилищ данных: Lambda-архитектура, Data Lake, Data Vault. ... критичные аномалии в данных. ... основные алгоритмы и структуры данных (особенно те, которые используются в работе с большими данными ...
- Полный день
- Опыт от 3 лет
Яндекс- Москва
6 часов назад
Обязанности: реализация в тандеме с архитектором физического уровня архитектуры данных в DWH для всех ... Требования: Опыт работы от 3х лет; базовые навыки в области инженерии данных; системное аналитическое ... ; опыт получения данных из различных типов API; опыт работы с потоковой обработкой данных; умение работать ...
- Полный день
- Опыт от 3 лет
WINLINE- Москва
5 дней назад
Вакансия в подборках
Похожие вакансии
Москвариум2MOODот 200 000 ₽
Эстилаб Рус