Data Engineer
По договоренности
Обязанности:
- Проектирование, разработка и поддержка ETL/ELT-процессов для сбора, трансформации и загрузки данных из различных источников.
- Построение и оптимизация инфраструктуры хранения данных (Data Lake, DWH) на базе современных технологий.
- Автоматизация процессов обработки данных с использованием Apache Airflow, Spark.
- Работа с базами данных: PostgreSQL, ClickHouse, S3.
- Интеграция данных из разных источников, обеспечение их качества и доступности для аналитиков и ML-специалистов.
- Оптимизация производительности запросов и хранилищ.
- Разработка и поддержка дашбордов и инструментов визуализации (Apache Superset, Redash).
- Участие в проектировании архитектуры данных и внедрении новых технологий.
- Языки программирования: Python (основной инструмент для написания ETL-скриптов и автоматизации).
- Инструменты оркестрации: Apache Airflow.
- Технологии обработки данных: Apache Spark.
- Базы данных: PostgreSQL, ClickHouse.
- Хранилища: S3.
- Инструменты визуализации: Apache Superset, Redash.
- Знание принципов работы с Big Data, опыт работы с распределёнными системами — будет плюсом.
- Опыт работы с Python (pandas) и SQL на уровне уверенного пользователя.
- Понимание принципов построения ETL/ELT-процессов.
- Опыт работы с хотя бы одной из перечисленных технологий: Airflow, Spark, PostgreSQL, MSSQL.
- Умение работать с большими объёмами данных, оптимизировать запросы и процессы.
- Знание Excel, умение работать с Power Query.
- Желание учиться и развиваться в области инженерии данных.
- Официальное оформление по ТК РФ или ИП (на выбор);
- Конкурентоспособная заработная плата, обсуждается индивидуально с каждым кандидатом;
- Работа в дружной команде на крупном проекте;
- Гибридный формат работы, гибкое начало рабочего дня;
- График работы 5/2.
Адрес: Россия, Москва, Огородный проезд
Опубликована день назад
Похожие вакансии
Наша команда предоставляет для Банка ТОП-3 сервис обеспечения бизнес-процессов агрегированными и структурированными внешними данными. Разрабатываем дата-продукт внешнего профиля клиента, так же создаем решения под Hadoop+Scala+Spark, осваиваем разраб...
- Полный день
- Опыт от 1 года
Лига Цифровой Экономики- Москва
4 часа назад
АО «РУССКИЙ ПРОДУКТ» - крупный отечественный производитель бакалейной продукции. Успешно работает на рынке с 1996 года. Наши бренды: «Геркулес», «Суперсуп», "Печем дома", "Традиция", и др. Мы предоставляем возможности для профессионального развития, ...
- Полный день
- Опыт от 1 года
РУССКИЙ ПРОДУКТ- Москва
день назад
Мы разрабатываем аналитические системы на базе единой платформы, которые позволяют безопасно работать с данными независимо от их формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из нескол...
- Полный день
- Опыт от 1 года
Криптонит- Москва
4 часа назад
до 80 000 ₽
Привет! Мы компания Techno Diasoft - аккредитованная IT компания, созданная в 2008 году. Специализируемся на разработке высоконагруженных FinTech проектах, создании умных устройств, голосовых ассистентов, а также разработке инновационных решений в об...
- Полный день
- Опыт от 1 года
Techno Diasoft- Москва
2 дня назад
Azur Games – международный издатель и разработчик мобильных игр. В нашем портфолио более 150 успешных f2p проектов в разных жанрах: от увлекательного гиперкэжа до ярких мидкор тайтлов с синхронным PvP. И мы постоянно наращиваем темпы: расширяем портф...
- Полный день
- Опыт от 1 года
Azur Games- Москва
4 дня назад