Data Engineer
По договоренности
- Автозаводская
- Технопарк
- Волгоградский проспект
Обязанности:
- Загрузка, очистка и трансформация больших объемов данных из различных источников (RDBMS, Hadoop, плоские файлы) в рабочую область (платформы Hadoop)
- Проектирование и разработка аналитических витрин данных
- Проектирование и разработка коннекторов для ETL процессов
- Мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин
- Разработка, поддержка и оптимизация инфраструктуры и внутренних сервисов для обработки больших объемов данных;
- Разработка инструментов для автоматизации рутинных задач, связанных с обработкой данных
Требования:
- SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация производительности).
- Cтек технологий Big Data (Hadoop, Spark, Hive/Impala) и любой СУБД.
- Знание понятий и концепций DWH
- Python (PySpark, Pandas, NumPy, REST API);
- Airflow/Dagster/Oozie
- BitBucket\Git
- Bash
- Возможность профессионального и карьерного роста в компании
- Возможность поучаствовать в разных проектах
- Опыт работы в распределенной команде профессионалов
- Уровень заработной платы обсуждается индивидуально
- Оформление в соответствии с ТК РФ в Bell Integrator
- Формат работы ОФИС: МСК
Адрес: Россия, Москва, 2-й Южнопортовый проезд
Опубликована месяц назад
Похожие вакансии
Вакансии быстро закрываются - скачайте мобильное приложение в RuStore и откликайтесь первыми!
Скачать бесплатно... опыт работы с Kafka; Желание развиваться как в области системного и бизнес-анализа, дата-инженерии и data ...
- Полный день
- Опыт от 3 лет
- Москва
7 дней назад
Требования опыт в data engineering от 3х лет практический опыт разработки на PySpark или Spark опыт разработки ...
- Полный день
- Опыт от 3 лет
- Москва
7 дней назад
Работа с качеством данных (Data Quality): * Опыт решения задач дедупликации (слияния дублей записей о ...
- Полный день
- Опыт от 3 лет
- Москва
7 дней назад
... Data Conveyor Team отвечает за путь этих данных от сырых записей до формата, с которым могут работать ... Сейчас нам нужен Software Engineer, который будет превращать записи с роботов и внешние датасеты в понятный ... Требования сильный Python и опыт разработки batch / data processing pipelines опыт backend, data engineering ...
- Полный день
- Опыт от 3 лет
- Москва
2 дня назад
Требования опыт работы в качестве Data Engineer / MLE от 3 лет знание SQL на продвинутом уровне (аналитические ... Warehousing и Big Data опыт разработки ETL-процессов опыт работы с большими объемами данных, построения ... хранилищ и витрин данных опыт работы со стеком технологий Big Data (Hadoop, Spark, Hive/Impala, Kafka ...
- Полный день
- Опыт от 3 лет
- Москва
5 дней назад
... Data office S7 построен на принципах data mesh и децентрализованной аналитики.
- Полный день
- Опыт от 3 лет
- Москва
7 дней назад