Старший инженер больших данных
По договоренности
Лента — федеральный продуктовый ритейлер России.
Сейчас в поиске Старшего инженера больших данных в команду домена Данные и Аналитика, для обеспечения работы инфраструктуры и извлечения ценности из большого объема данных.
Используем Hadoop (HDFS, Hive, YARN, Spark, Kafka), интеграции с БД Oracle, SAP Hana, Clickhouse, Postgres, MySQL, оркестрация Airflow,ETL Spark, Python/Scala, SAP DS, облачные технологии YandexCloud
Ваши задачи:- Разработка витрин, постановка расчетов на расписание
- мониторинг, поддержка, оптимизация ETL-процессов;
- Интеграция данных из различных источников (преимущественно batch-загрузки из SQL баз данных);
- Поддержка команды и пользователей по вопросам эффективной работы с данными.
- Разработка потоков интеграции данных в Hadoop
- Внедрение новой платформы данных LakeHouse
- Менторинг младших сотрудников
- Релевантный опыт работ от 3 лет
- Уверенное владение SQL: оконные функции, вложенные подзапросы, фильтрация, агрегации
- Знание Apache Hive: написание оптимизированных запросов, разбиение и партиционирование
- Опыт работы с Apache Spark (PySpark или Scala): построение трансформаций, join'ы, оконные вычисления
- Понимание структуры и принципов хранения в HDFS, работа с CLI
- Уверенное использование Apache Airflow: создание DAG'ов, работа с зависимостями, сенсорами
- Опыт построения ETL/ELT пайплайнов под большие объёмы (в т.ч. инкрементальные загрузки)
- Опыт работы с колонковыми форматами: Parquet, ORC, IceBerg
- Понимание проблемы small files и подходов к оптимизации (merge, union, партиционирование)
- Уверенное владение Linux (bash): команды, автоматизация, cron Знание Git: работа с ветками, pull requests, code review
- активное участие в реализации значимых проектов Домена Данные и Аналитика в одной из лидирующих и успешно развивающихся розничных сетей;
- работа в позитивной команде профессионалов, занимающейся созданием отчетности для анализа эффективности коммерческой деятельности компании и оценки возможностей развития;
- активное взаимодействие с бизнес командой Коммерческой службы в поиске новых решений и внедрении изменений в процессы;
- четко выстроенный рабочий процесс взаимодействия внутри команды;
- оформление в штат аккредитованной IT-компании с первого рабочего дня;
- годовое премирование на основании результатов;
- компенсационный пакет - ДМС со стоматологией;
- официальную оплату труда;
- удаленный формат работы;
- корпоративные скидки
Опубликована 22 дня назад
Похожие вакансии
Крупная производственная компания сектора FMCG в поисках специалиста! Обязанности: Ведение проектов, связанных с автоматизацией производственных процессов (роботизация участка упаковки и процесса загрузки) от стадии инициации проекта до окончания гар...
- Полный день
- Опыт от 3 лет
- Санкт-Петербург
день назад
123 800 ₽
Рыночная зарплата
Обязанности: Организация и контроль работ по эксплуатации, реконструкции, модернизации и ремонту офисных помещений Компании. Осуществлять ежедневный надзор за содержанием «Арендодателем» здания, а также арендуемых помещений и мест общего пользования,...
- Полный день
- Опыт от 3 лет
- Санкт-Петербург
2 дня назад
В этой роли вы будете обеспечивать быструю и безопасную интеграцию внутренних и внешних информационных систем, увеличивая эффективность коммуникаций и цепочки поставок. Вы будете: Проектировать потоки данных и разрабатывать ETL-процессы (Airflow) Раз...
- Полный день
- Опыт от 3 лет
- Санкт-Петербург
день назад
Наш департамент - часть большой команды разработки флагманского продукта компании YADRO – TATLIN.UNIFIED. Продукт представляет собой современное хранилище, созданное для решения задач традиционных корпоративных приложений, больших данных и аналитики,...
- Полный день
- Опыт от 3 лет
- Санкт-Петербург
день назад
АО "ФАРМАСИНТЕЗ-НОРД", (ГК "ФАРМАСИНТЕЗ"), лидер фармацевтического рынка в производстве лекарственных средств для лечения социально значимых заболеваний в связи с расширение штата приглашает в свою команду Старшего инженера по контрольно-измерительны...
- Полный день
- Опыт от 3 лет
- Санкт-Петербург
11 дней назад
Вдохновляй, создавай, внедряй: стань старшим инженером-программистом в команде, где твои идеи воплощаются в жизнь! О компании ЗАО «НПК «Пуск» — ведущий разработчик и производитель оптических и оптико-электронных, оптико-цифровых и оптико-механических...
- Полный день
- Опыт от 3 лет
- Санкт-Петербург
12 дней назад
Вакансия в подборках
Похожие вакансии
123 800 ₽