Ведущий дата-инженер

RDP - ведущий российский производитель сетевых решений.

Мы специализируемся на разработке инновационного программного обеспечения и программно-аппаратных комплексов для высокопроизводительной обработки сетевого трафика. Продукция компании широко востребована в сетях операторского класса, крупных предприятиях и Госсекторе.

Одна из ключевых особенностей нашей компании – поставка масштабируемых решений на базе нашего оборудования, интеграция с системами Заказчика и доработка продуктов под поставляемые решения.

Сейчас мы находимся в поиске Инженера данных в команду, которая занимается разработкой платформы обработки больших данных, а именно сетевого трафика.

Этот продукт будет использоваться для предотвращения сетевых атак, поиска аномалий в трафике и др.

Обязанности:

• Проектирование и реализация сложных batch и streaming пайплайнов в новом Lakehouse-стеке
• Реализация и контроль технической части миграции Hadoop → S3/Iceberg
• Проектирование схем хранения и оптимизация Iceberg-таблиц
• Оптимизация Spark и Trino под highload и near-real-time требования
• Разбор и устранение сложных инцидентов производительности
• Внедрение и развитие практик Data Quality
• Проведение код-ревью
• Менторинг Senior и Middle инженеров
• Поддержка legacy-стека в части нестандартных или критичных кейсов

Требования:

• 5+ лет опыта в Data Engineering
• Продвинутый опыт работы со Spark (batch и streaming)
• Практический опыт построения streaming-обработки (Spark Streaming или Flink)
• Отличное знание SQL и опыт оптимизации под большие объёмы данных
• Опыт работы с Kafka
• Уверенное владение Python (включая PySpark)
• Разработка, оптимизация и масштабирование ETL/ELT-процессов, включая автоматизацию сбора, трансформации и загрузки данных из разнородных источников;
• Участие в проектировании и развитии архитектуры хранилищ данных (DWH) и озёр данных (Data Lake);
• Разработка и поддержка витрин данных для аналитики и бизнес-отчетности;
• Оптимизация производительности и надежности процессов обработки данных (SQL, Spark, Airflow);
• Обеспечение качества данных через внедрение автоматизированных проверок, систем мониторинга и механизмов оповещения;
• Взаимодействие с аналитиками, специалистами Data Science и бизнес-заказчиками;
• Ведение и актуализация технической документации (архитектура, процессы, API, SLA).
• Опыт работы с distributed storage (HDFS, S3 или аналоги)
• Понимание принципов Data Lake / Lakehouse
• Опыт проектирования таблиц под большие объёмы данных (partitioning, compaction, storage layout)
• Опыт работы с Iceberg / Delta Lake или понимание их принципов

Будет плюсом:

• Опыт работы с Trino / Presto
• Опыт работы с ClickHouse
• Опыт работы с Kubernetes
• Понимание практик Infrastructure as Code
• Опыт работы с GitOps (Argo CD)
• Понимание различных моделей данных (Star/Snow?ake, Data Vault, Anchor Modeling)
• Понимание принципов построения IP-сетей и базовых сетевых протоколов (IP, TCP/ UDP, маршрутизация, модель OSI)
• Понимание принципов MLOps

Условия:

• Работа в аккредитованной IT компании;
• Трудоустройство в соответствии с ТК РФ;
• Белая заработная плата (оклад обсуждаем с успешным кандидатом после прохождения технического интервью);
• График работы: 5/2, гибкое начало рабочего дня (с 8:00 до 12:00);
• Возможность работать удаленно в рамках РФ;
• ДМС (со стоматологией), частичная компенсация обедов (для тех кто ходит в офис), внутреннее и внешнее обучение за счет компании, корпоративный фитнес и изучение английского языка;
• Офис находится в БЦ "Трио" на метро Динамо (или мцд Гражданская).