Data Engineer

По договоренности

Москва

Ищем коллегу в команду разработки AI-агентов Департамента Инфраструктрных решений для построения мультиагентной системы оптимизации инфраструктуры.

В рамках проекта предполагается построение ряда Classic-ML моделей и LLM-приложений, чей эффект напрямую затронет процессы управления инфаструктурой и капасити, и окажет существенное влияние на то, как именно потребляются инфраструктурные ресурсы в Банке.

У Вас будет возможность не только применить свои технические навыки, но и повлиять на то, как именно будет выглядеть итоговый результат. Наша команда DS, DE, разработчиков, методологов и аналитиков всегда рада новым идеям, готова делиться своими знаниями и вместе учиться новому.

Обязанности

разработка витрин данных (PostgreSQL, Hadoop Hive)
разработка пайплайнов для преобразования данных в формат, оптимальный для дальнейшего хранения, обработки и дальнейшей отправки в Корпоративную Аналитическую Платформу
проектирование и реализация хранилищ, которые позволили бы эффективно решать задачи, связанные с эксплуатацией и мониторингом AI-агентов
проведение первичного анализа данных на их корректность и полноту. Проверка базовых гипотез
участие в постановке задачи на разработку моделей, на разработку витрин данных совместно с заказчиком, DS и бизнес-аналитиками
развитие и распространение экспертизы при внедрении витрин данных (консультация по методологии, постановка ТЗ на внедрение, заполнение карточки витрины в учетных системах)
курирование стажёров

Требования

продвинутый уровень владения Python и SQL (PostgreSQL, Hadoop Hive)
опыт работы с NoSQL и векторными БД будет преимуществом
опыт построения запросов для высоконагруженных систем
опыт работы с движками для распределенной обработки данных (Spark)
навыки работы с генеративными AI-моделями
опыт создания AI-агентов, работы с Apache NiFi или разработки витрин с применением Atlant приветствуется