Инженер больших данных
По договоренности
Лента — федеральный продуктовый ритейлер России.
Сейчас в поиске Инженера больших данных в команду домена Данные и Аналитика, для обеспечения работы инфраструктуры и извлечения ценности из большого объема данных.
Используем Hadoop (HDFS, Hive, YARN, Spark, Kafka), интеграции с БД Oracle, SAP Hana, Clickhouse, Postgres, MySQL, оркестрация Airflow,ETL Spark, Python/Scala, SAP DS, облачные технологии
Ваши задачи:- Разработка витрин, постановка расчетов на расписание
- мониторинг, поддержка, оптимизация ETL-процессов;
- Интеграция данных из различных источников (преимущественно batch-загрузки из SQL баз данных);
- Поддержка команды и пользователей по вопросам эффективной работы с данными.
- Разработка потоков интеграции данных в Hadoop
- Внедрение новой платформы данных LakeHouse
- Менторинг младших сотрудников
- Релевантный опыт работ от 3 лет
- Уверенное владение SQL: оконные функции, вложенные подзапросы, фильтрация, агрегации
- Знание Apache Hive: написание оптимизированных запросов, разбиение и партиционирование
- Опыт работы с Apache Spark (PySpark или Scala): построение трансформаций, join'ы, оконные вычисления
- Понимание структуры и принципов хранения в HDFS, работа с CLI
- Уверенное использование Apache Airflow: создание DAG'ов, работа с зависимостями, сенсорами
- Опыт построения ETL/ELT пайплайнов под большие объёмы (в т.ч. инкрементальные загрузки)
- Опыт работы с колонковыми форматами: Parquet, ORC, IceBerg
- Понимание проблемы small files и подходов к оптимизации (merge, union, партиционирование)
- Уверенное владение Linux (bash): команды, автоматизация, cron Знание Git: работа с ветками, pull requests, code review
- активное участие в реализации значимых проектов Домена Данные и Аналитика в одной из лидирующих и успешно развивающихся розничных сетей;
- работа в позитивной команде профессионалов, занимающейся созданием отчетности для анализа эффективности коммерческой деятельности компании и оценки возможностей развития;
- активное взаимодействие с бизнес командой Коммерческой службы в поиске новых решений и внедрении изменений в процессы;
- четко выстроенный рабочий процесс взаимодействия внутри команды;
- оформление в штат аккредитованной IT-компании с первого рабочего дня;
- годовое премирование на основании результатов;
- компенсационный пакет - ДМС со стоматологией;
- официальную оплату труда;
- удаленный формат работы;
- корпоративные скидки
Опубликована 4 часа назад
Похожие вакансии
Для усиления команды мы ищем опытного инженера DevSecOps, который разделяет наш принцип «безопасность ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
- Санкт-Петербург
6 часов назад
120 000 - 140 000 ₽
Рыночная зарплата
Ты инженер-конструктор, который любит нестандартные задачи и хочет влиять на облик современных объектов ... Разработка разделов КР,КЖ и КМ для АЗС и объектов придорожного сервиса -Взаимодействие с архитекторами, инженерами ... Высшее профильное образование (ПГС, промышленное и гражданское строительство, архитектура) -Опыт работы инженером-конструктором ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
- Санкт-Петербург
6 часов назад
180 000 - 250 000 ₽
Выше средней на 62%
В связи с расширением и усилением нашей команды мы ищем DevOps-инженера. ... Требования: Опыт работы DevOps инженером от 2 лет; Отличное знание Jenkins (pipeline, groovy, shared ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
- Санкт-Петербург
4 часа назад
... аккредитованная IT-компания, мы разрабатываем программное обеспечение для группы компаний Utair Сейчас мы ищем инженера ...
- Можно удаленно
- Полный день
- Опыт от 3 лет
- Санкт-Петербург
4 часа назад
150 000 - 170 000 ₽
Выше средней на 20%
Обязанности: установка и настройка ОС Linux и дополнительных прикладных пакетов настройка и устранение неполадок конфигурации IP/SS/Diameter сети установка модулей продукта на ОС Linux конфигурация модулей продукта установка обновлений и решений проб...
- Можно удаленно
- Полный день
- Опыт от 3 лет
- Санкт-Петербург
4 часа назад
Вакансия в подборках
Похожие вакансии
120 000 - 140 000 ₽
180 000 - 250 000 ₽