Data Engineer
По договоренности
Обязанности:
- Проектирование, разработка и поддержка ETL/ELT-процессов для сбора, трансформации и загрузки данных из различных источников.
- Построение и оптимизация инфраструктуры хранения данных (Data Lake, DWH) на базе современных технологий.
- Автоматизация процессов обработки данных с использованием Apache Airflow, Spark.
- Работа с базами данных: PostgreSQL, ClickHouse, S3.
- Интеграция данных из разных источников, обеспечение их качества и доступности для аналитиков и ML-специалистов.
- Оптимизация производительности запросов и хранилищ.
- Разработка и поддержка дашбордов и инструментов визуализации (Apache Superset, Redash).
- Участие в проектировании архитектуры данных и внедрении новых технологий.
- Языки программирования: Python (основной инструмент для написания ETL-скриптов и автоматизации).
- Инструменты оркестрации: Apache Airflow.
- Технологии обработки данных: Apache Spark.
- Базы данных: PostgreSQL, ClickHouse.
- Хранилища: S3.
- Инструменты визуализации: Apache Superset, Redash.
- Знание принципов работы с Big Data, опыт работы с распределёнными системами — будет плюсом.
- Опыт работы с Python (pandas) и SQL на уровне уверенного пользователя.
- Понимание принципов построения ETL/ELT-процессов.
- Опыт работы с хотя бы одной из перечисленных технологий: Airflow, Spark, PostgreSQL, MSSQL.
- Умение работать с большими объёмами данных, оптимизировать запросы и процессы.
- Знание Excel, умение работать с Power Query.
- Желание учиться и развиваться в области инженерии данных.
- Официальное оформление по ТК РФ или ИП (на выбор);
- Конкурентоспособная заработная плата, обсуждается индивидуально с каждым кандидатом;
- Работа в дружной команде на крупном проекте;
- Гибридный формат работы, гибкое начало рабочего дня;
- График работы 5/2.
Адрес: Россия, Москва, Огородный проезд
Опубликована месяц назад
Похожие вакансии
Rambler&Co занимает первое место среди медиахолдингов России по объему аудитории цифровых ресурсов — свыше 45,2 млн человек ежемесячно (по данным Mediascope, Cross Web, 2023). В него входят «Лента.ру», «Газета.Ru», «Чемпионат», портал «Рамблер», ...
- Полный день
- Опыт от 1 года
Rambler&Co- Москва
6 дней назад
АО «РУССКИЙ ПРОДУКТ» - крупный отечественный производитель бакалейной продукции. Успешно работает на рынке с 1996 года. Наши бренды: «Геркулес», «Суперсуп», "Печем дома", "Традиция", и др. Мы предоставляем возможности для профессионального развития, ...
- Полный день
- Опыт от 1 года
РУССКИЙ ПРОДУКТ- Москва
6 дней назад
СберАналитика в цифрах: Более 7 лет развиваем продукты для анализа данных 18 продуктов в портфеле 9 патентов Более 1500 клиентов доверяют нашим решениям Команда из 500+ профессионалов Чем предстоит заниматься: Проектирование и разработка аналитически...
- Полный день
- Опыт от 1 года
ТЕХНОЛОГИИ ОТРАСЛЕВОЙ ТРАНСФОРМАЦИИ- Москва
7 дней назад
Обязанности: Участие в проекте построения Платформы данных на технологиях (Greenplum, Clickhouse, S3 + Impala) Разработка и поддержка ETL/ELT-процессов с использованием DBT (Data Build Tool). Написание и оптимизация SQL-трансформаций разной сложности...
- Полный день
- Опыт от 1 года
Тера Интегро- Москва
4 дня назад
Ищем специалиста на позицию Data Engineer для участия в создании и поддержке инфраструктуры данных крупного банка. Будете отвечать за разработку, оптимизацию и поддержку витрин данных, работу с источниками данных и создание эффективных процессов обра...
- Полный день
- Опыт от 1 года
СБЕР- Москва
5 часов назад
Привет! Мы команда единомышленников и профессионалов СтандартПроект, создаем уникальные, востребованные и современные IT решения в двух ключевых направлениях: фото\видео фиксации и распознавании лиц. У нас огромный опыт перевода процессов в цифровой ...
- Полный день
- Опыт от 1 года
СтандартПроект- Москва
6 дней назад
Вакансия в подборках
Похожие вакансии
Rambler&CoРУССКИЙ ПРОДУКТТЕХНОЛОГИИ ОТРАСЛЕВОЙ ТРАНСФОРМАЦИИТера Интегро