Старший дата-инженер

RDP - ведущий российский производитель сетевых решений.

Мы специализируемся на разработке инновационного программного обеспечения и программно-аппаратных комплексов для высокопроизводительной обработки сетевого трафика. Продукция компании широко востребована в сетях операторского класса, крупных предприятиях и Госсекторе.

Одна из ключевых особенностей нашей компании – поставка масштабируемых решений на базе нашего оборудования, интеграция с системами Заказчика и доработка продуктов под поставляемые решения.

Сейчас мы находимся в поиске Инженера данных в команду, которая занимается разработкой платформы обработки больших данных, а именно сетевого трафика.

Этот продукт будет использоваться для предотвращения сетевых атак, поиска аномалий в трафике и др.

Обязанности:

• Разработка и развитие batch и streaming пайплайнов
• Реализация витрин данных в Lakehouse-архитектуре
• Работа с Iceberg-таблицами (создание, оптимизация, поддержка)
• Оптимизация Spark-job'ов и SQL-запросов
• Поддержка legacy-процессов Hadoop/Hive
• Разработка и сопровождение DAG'ов (Air?ow)
• Участие в миграции со старого стека
• Участие в код-ревью

Требования:

• 3–5+ лет опыта в Data Engineering
• Уверенный опыт работы со Spark (batch, желательно streaming)
• Отличное знание SQL
• Опыт работы с Kafka
• Уверенное владение Python (включая PySpark)
• Понимание принципов построения Data Lake / DWH
• Опыт разработки витрин данных
• Опыт работы с распределёнными хранилищами (HDFS, S3 или аналоги)
• Понимание partitioning, индексации, форматов хранения
• Умение анализировать узкие места Spark-job'ов
• Понимание причин деградации производительности
• Опыт работы с большими объёмами данных
• Понимание базовых принципов SLA витрин

Будет плюсом:

• Опыт работы с Iceberg / Delta Lake
• Опыт работы с Trino / Presto
• Опыт работы с ClickHouse
• Опыт streaming-обработки (Spark Streaming / Flink)
• Понимание моделей данных (Star/Snow?ake, Data Vault)
• Опыт работы в среде IaaC / GitOps
• Понимание принципов построения IP-сетей и базовых сетевых протоколов (IP, TCP/ UDP, маршрутизация, модель OSI)
• Понимание принципов MLOps

Условия:

• Работа в аккредитованной IT компании;
• Трудоустройство в соответствии с ТК РФ;
• Белая заработная плата (оклад обсуждаем с успешным кандидатом после прохождения технического интервью);
• График работы: 5/2, гибкое начало рабочего дня (с 8:00 до 12:00);
• Возможность работать удаленно в рамках РФ;
• ДМС (со стоматологией), частичная компенсация обедов (для тех кто ходит в офис), внутреннее и внешнее обучение за счет компании, корпоративный фитнес и изучение английского языка;
• Офис находится в БЦ "Трио" на метро Динамо (или мцд Гражданская).