Data Engineer

Описание стрима:

«База знаний» - это внедрение базовой дисциплины управления критическими* данными корпоративного хранилища: как структурированными (таблицы, витрины, отчёты), так и неструктурированными (Confluence, Wiki — знания о данных).

Цель проекта – создание работающей системы управления критическими данными ФГ, обеспечивающей:

• полную идентификацию и описание источников,
• измеримое качество через дата-контракты,
• единую навигацию по данным и знаниям о них,
• дисциплину поддержания актуальности,
• наличие источников в целевом состоянии.

Чем предстоит заниматься:

• Настраивать и поддерживать CI/CD-пайплайны для ETL-процессов и скриптов проверок качества данных;
• Версионировать и управлять кодом всех артефактов проекта (ETL-скрипты, проверки, конфигурации, документация);
• Настраивать и поддерживать среды разработки, тестирования и продакшена для команды;
• Внедрять и поддерживать инфраструктуру мониторинга и алертинга в соответствии с принятыми процессами;
• Автоматизировать процессы пересборки данных при сбоях;
• Настраивать логирование при переносе процессов на целевую архитектуру: обеспечивать сбор, поиск и корреляцию логов;
• Управлять секретами и доступами, проводить аудит доступа к данным и инфраструктуре;
• Настраивать автоматизированные проверки качества на уровне инфраструктуры: валидировать схемы, контролировать целостность данных при загрузке и мониторить ресурсы;
• Подготавливать и поддерживать документацию и инструкции по восстановлению при сбоях (disaster recovery), обеспечивая соблюдение RTO/RPO;
• Автоматизировать развёртывание инструментов качества данных и их интеграцию с существующими пайплайнами;
• Контролировать и оптимизировать производительность инфраструктуры: масштабировать ресурсы, оптимизировать запросы и управлять кластером;
• Обеспечивать резервное копирование (backup) данных и конфигураций, регулярно проверять процедуры восстановления;
• Участвовать в управлении инцидентами: собирать метрики, диагностировать инфраструктурные проблемы, эскалировать их и проводить пост-инцидентный анализ;
• Документировать архитектуру инфраструктуры, пайплайны и процедуры деплоя, обеспечивая актуальность документации.

Наши ожидания:

• 3+ года опыта в роли Data Engineer/Backend Developer;
• Java: уверенное владение для streaming processing;
• Python: для написания DAGs Airflow (DAG, операторы, сенсоры);
• Airflow: DAG, операторы, сенсоры;
• SQL: глубокое знание, оптимизация запросов, опыт работы с PostgreSQL и ClickHouse;
• Kafka: опыт работы с producers/consumers, настройка кластера/брокеров/топиков;
• СУБД: Redis/ClickHouse/PostgreSQL или подобные системы;
• CI/CD: Gitlab CI, Runners, Docker, Bash

Мы предлагаем:

• Доступ к современным AI-инструментам;
• Работу в стабильной и активно развивающейся компании – лидере инвестиционного рынка;
• Современный стек технологий, амбициозные проекты, возможность профессионального развития;
• Гибридный режим работы: возможность работать удаленно (частично или полностью);
• Работу в аккредитованной Минцифры России ИТ-компании, резиденте Сколково;
• ДМС с первого месяца работы.