Разработчик ETL (scala)

Команда «Гео и графы» кластера «AI360» корпоративного блока Сбербанка. Команда функционирует в московском офисе и в Санкт-Петербурге. Команда развивает несколько направлений: витрины данных о связанности ЮЛ, клиентские данные ЮЛ, транзакционные витрины данных, графы связей ЮЛ, геовитрины по данным ЮЛ. Все витрины используются для построения моделей в различных бизнес-блоках Банка.

Обязанности

• участие в сложных интеграционных проектах в роли разработчика
• разработка, проектирование, тестирование потоков данных, алгоритмов и обработки данных в Hadoop/GreenPlum на Scala/Spark/SQL
• участие во внедрении моделей на основе ML алгоритмов
• оптимизация и настройка производительности ETL-процессов
• участие в разработке фреймворка на Scala.

Требования

• наличие практического опыта работы с Hadoop (Hive, Impala, sqoop, oozie, HDFS, YARN) или GreenPlum, понимание парадигмы map-reduce и алгоритмов работы Spark
• опыт работы с реляционными СУБД (Oracle, MS/SQL), навыки оптимизации запросов
• опыт программирования на Scala/Java/Python
• фундаментальные знания принципов построения распределенных систем хранения и обработки данных
• знание Spark.

Будет плюсом:

• опыт работы с ETL-инструментами (Informatica BDM, ODI, Pentaho) и BI-средствами
• опыт работы с REST API
• опыт работы с CI/CD
• опыт работы с NoSQL базами данных (HBase, Cassandra)
• опыт работы с Unix shell
• знания предметной области «Банки и финансы».

Условия

Что мы предлагаем:

• удобный офис в СПб на ул. Уральской, дом 1 (с бесплатной развозкой от метро)

• возможность работать частично удалённо после согласования с руководителем

• регулярный пересмотр заработной платы и возможность получения годовой премии

• уютный корпоративный спортзал и пространства для отдыха

• доступ к более чем 400 образовательным программам СберУниверситета

• программу адаптации и поддержку наставника на первых этапах работы

• расширенную медицинскую страховку (ДМС) и выгодные условия страхования для членов семьи

• ипотечные программы для сотрудников

• бесплатные подписки СберПрайм+ и бонусы партнёров

• вознаграждения за рекомендации кандидатов.