Senior Data Engineer [Big Data, МТС Веб Сервисы]

BIG DATA МТС – место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали несколько десятков сервисов. Самые успешные из них уже стали частью экосистемы МТС. Например, МТС Маркетолог, рекомендации в KION (МТС ТВ), услуга “Кто звонит?” или Спам blacklist.

КОГО МЫ ИЩЕМ?

SENIOR DATA ENGENEER В ЦЕНТР УПРАВЛЕНИЯ ДАННЫМИ

ОПИСАНИЕ ПРОДУКТА:
Группа Центр Компетенций в Управлении данными отвечает за создание масштабируемых фреймворков для организации управления данными в крупной компании. Группа отвечает за фреймворки по направлениям Метаданные, Качество данных, Справочные и основные данные, а также участвует в проработке стандарта AI-ready данные, стандарты работы дата-аналитиков и дата-инженеров. Ключевые метрики успеха: сокращение рутины при исполнении практик управления данными и повышение скорости при анализе данных и настройке регулярных процессов обработки данных. В 2026 году группа делает особенный акцент на повышении качества работы дата инженеров, поэтому ищем опытного инженера, который готов делиться своим опытом работы с Lakehouse, помогать внедрять его с нуля, а также оптимизировать уже настроенные ETL.

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ

• Участвовать в проектировании и построении инновационных и амбициозных решений для обработки данных в масштабе компании
• Разрабатывать технические рекомендации и внедрять лучшие практики в команде дата-инженеров
• Проектировать и реализовывать миграции существующих решений на новую инфраструктуру (например с Hadoop/Hive/HDFS на Lakehouse/S3/Iceberg)
• Анализировать и оптимизировать ETL/SQL/Spark-приложений для повышения производительности на различной инфраструктуре

ЧТО НУЖНО ДЛЯ ЭТОЙ РАБОТЫ

Технический стек:

• Apache Spark: углубленное понимание внутренней архитектуры и оптимизация производительности, практический опыт интеграции Spark с нативными движками
• SQL: продвинутые навыки работы с запросами и оптимизацией
• Python и/или Java: уверенное владение одним из языков
• Hadoop/HDFS: опыт работы с распределенными файловыми системами
• Apache Kafka/Spark streaming/Flink: построение стриминговых решений и интеграций
• Airflow: разработка и управление ETL-пайплайнами
• СУБД: опыт работы как с реляционными БД, так и с MPP-системами (Greenplum, Clickhouse), понимание их внутреннего устройства, возможностей, особенностей и отличий
• Lakehouse: опыт разработки ETL-процессов для S3 и Apache Iceberg

Архитектурная экспертиза:

• Понимание различных принципов проектирования хранилищ данных
• Знание современных подходов к построению Data Lakehouse архитектуры
• Опыт выбора оптимальных систем хранения и обработки в зависимости от требований
• Опыт построения эффективных ETL/ELT-архитектур (пакетная и потоковая обработка)

Диагностика и оптимизация:

• Сильные навыки в выявлении и устранении узких мест производительности в дата-пайплайнах
• Умение анализировать планы выполнения, настраивать СУБД и движки для улучшения производительности
• Диагностика проблем с распределенными системами (Spark, Hadoop) и их эффективное решение
• Мониторинг и анализ метрик производительности для выявления потенциальных проблем до их возникновения

БУДЕТ ПЛЮСОМ

• Опыт выстраивания CI/CD для дата-пайплайнов
• Знание технологий контейнеризации (Docker, Kubernetes) на уровне "как оно там заводится и крутится", еще лучше если разбираешься в этом
• Понимание принципов Data Governance
• Задачи Data Quality и Data Observability - практический опыт или хотя бы предсталение "как должно быть"
• Умение использовать LLM и AI-инструменты для повышения своей производительности

ЧТО ПРЕДЛАГАЕМ

• Работу в современной надёжной цифровой компании
• Достойную заработную плату
• Agile-культуру: продуктовые команды, Scrum и Kanban, демо-дни, внутренние митапы и таунхоллы
• Доступ к корпоративной библиотеке Alpina, корпоративному университету МТС и программам развития
• Отсутствие дресс-кода, гибкий формат работы
• Комфортный и стильный офис в двух минутах от м. Технопарк
• Корпоративное кафе «Мечта» и отличный кофе на первом этаже БЦ
• Специальный тариф на мобильную связь для тебя и близких
• Предложения от партнёров банка и МТС
• Заботу о тебе и твоей семье: ДМС со стоматологией, сессиями с психологом и госпитализацией. К ДМС можно подключить детей и родственников. А ещё доступ к телемедицине BestDoctor
• Поддержку сотрудников: программа материальной помощи в различных жизненных ситуациях