Data Engineer Spark/PySpark

Назначение проекта:
Миграция данных с Hadoop на Spark -> на Lake House (s3)

Основной стек:
pyspark (spark); impala
Дополнительные инструменты:
hdfs, s3 (minio), cdc, работа со стримингом, rest

Какие задачи будут стоять перед тобой (подробности, и детали проектов - на техническом интервью):

• Реализация полного цикла разработки корпоративных информационно-аналитических систем с учетом требований к работе с большими данными и распределенными технологиями (PySpark, Hive, Impala);

• Участие в планировании проекта, оценке сроков выполнения и анализе рисков, а также организации эффективных процессов разработки;

• Участие в подготовке и сопровождение технической документации;

• проведение приемочных испытаний систем и обеспечение соответствия требованиям заказчика;

• доработка и оптимизация систем: написание сложных SQL-запросов, хранимых процедур, настройка ETL-процессов, анализ производительности запросов, устранение дефектов, а также работа с большими данными с использованием PySpark, Hive и Impala
  
  Требования:

• Минимум 1/1,5 года опыта в разработке промышленных систем в роли разработчика/data engineer на протяжении всего жизненного цикла проекта;

• Опыт программирования баз данных (SQL/ PL/SQL/ T-SQL), опыт написание сложных запросов, хранимых процедур;

• Опыт работы с партициями;

• Навыки анализа производительности SQL-запросов и их оптимизации;

• Опыт внедрения и приемки систем;

• Опыт разработки технической документации (технический дизайн, техническое задание, техническая спецификация);

• Опыт работы с большими данными и распределенными системами: использование PySpark, Apache Hive и Impala для обработки и анализа больших объемов данных, а также оптимизация работы с этими технологиями;

Что предлагаем мы:

• Стабильный оклад, пересмотр зп от 1го раза в год и премию по итогам года/проекта;

• Институт курирования, к каждому сотруднику прикрепляется куратор для помощи в адаптации и в дальнейшей работе;

• Гибкий график;

• Любой формат работы: гидрид/удаленка/офис;

• Офис GlowByte - новый яркий бизнес-лофт "Арма", в 1й минуте от м. Курская;

• ДМС со стоматологией;

• Компенсация изучения английского языка/абонемента в фитнес-клуб;

• Профессиональное обучение технологиям и сертификацию с оплатой за счёт компании;

• Работу в отзывчивом и дружном коллективе профессионалов - средний возраст нашей команды 27 лет, но при этом качество нашей работы оценено постоянными клиентами по достоинству;

Жми откликнуться, и мы скоро свяжемся с тобой! :)