Senior Data Engineer [Big Data, МТС Веб Сервисы]

BIG DATA МТС – место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали несколько десятков сервисов. Самые успешные из них уже стали частью экосистемы МТС. Например, МТС Маркетолог, рекомендации в KION (МТС ТВ), услуга “Кто звонит?” или Спам blacklist.

КОГО МЫ ИЩЕМ?

SENIOR DATA ENGENEER В ЦЕНТР УПРАВЛЕНИЯ ДАННЫМИ

ОПИСАНИЕ ПРОДУКТА:
Группа Центр Компетенций в Управлении данными отвечает за создание масштабируемых фреймворков для организации управления данными в крупной компании. Группа отвечает за фреймворки по направлениям Метаданные, Качество данных, Справочные и основные данные, а также участвует в проработке стандарта AI-ready данные, стандарты работы дата-аналитиков и дата-инженеров. Ключевые метрики успеха: сокращение рутины при исполнении практик управления данными и повышение скорости при анализе данных и настройке регулярных процессов обработки данных. В 2026 году группа делает особенный акцент на повышении качества работы дата инженеров, поэтому ищем опытного инженера, который готов делиться своим опытом работы с Lakehouse, помогать внедрять его с нуля, а также оптимизировать уже настроенные ETL.

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ

• Участвовать в проектировании и построении инновационных и амбициозных решений для обработки данных в масштабе компании
• Разрабатывать технические рекомендации и внедрять лучшие практики в команде дата-инженеров
• Проектировать и реализовывать миграции существующих решений на новую инфраструктуру (например с Hadoop/Hive/HDFS на Lakehouse/S3/Iceberg)
• Анализировать и оптимизировать ETL/SQL/Spark-приложений для повышения производительности на различной инфраструктуре

ЧТО НУЖНО ДЛЯ ЭТОЙ РАБОТЫ

Технический стек:

• Apache Spark: углубленное понимание внутренней архитектуры и оптимизация производительности, практический опыт интеграции Spark с нативными движками
• SQL: продвинутые навыки работы с запросами и оптимизацией
• Python и/или Java: уверенное владение одним из языков
• Hadoop/HDFS: опыт работы с распределенными файловыми системами
• Apache Kafka/Spark streaming/Flink: построение стриминговых решений и интеграций
• Airflow: разработка и управление ETL-пайплайнами
• СУБД: опыт работы как с реляционными БД, так и с MPP-системами (Greenplum, Clickhouse), понимание их внутреннего устройства, возможностей, особенностей и отличий
• Lakehouse: опыт разработки ETL-процессов для S3 и Apache Iceberg

Архитектурная экспертиза:

• Понимание различных принципов проектирования хранилищ данных
• Знание современных подходов к построению Data Lakehouse архитектуры
• Опыт выбора оптимальных систем хранения и обработки в зависимости от требований
• Опыт построения эффективных ETL/ELT-архитектур (пакетная и потоковая обработка)

Диагностика и оптимизация:

• Сильные навыки в выявлении и устранении узких мест производительности в дата-пайплайнах
• Умение анализировать планы выполнения, настраивать СУБД и движки для улучшения производительности
• Диагностика проблем с распределенными системами (Spark, Hadoop) и их эффективное решение
• Мониторинг и анализ метрик производительности для выявления потенциальных проблем до их возникновения

БУДЕТ ПЛЮСОМ

• Опыт выстраивания CI/CD для дата-пайплайнов
• Знание технологий контейнеризации (Docker, Kubernetes) на уровне "как оно там заводится и крутится", еще лучше если разбираешься в этом
• Понимание принципов Data Governance
• Задачи Data Quality и Data Observability - практический опыт или хотя бы предсталение "как должно быть"
• Умение использовать LLM и AI-инструменты для повышения своей производительности

ЧТО ПРЕДЛАГАЕМ

Что мы предлагаем:

• собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability — не будут для тебя проблемой, ты сможешь сосредоточиться на фичах;

• профессиональные гильдии инженеров, где мы поддерживаем друг друга и помогаем стать лучше;

• внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации;

• участие во внешних IT конференциях. Мы выступаем на HighLoad++, DataFest, Mobius, Test Driven Conf, Joker, DevOps, Матемаркетинг и даже проводим собственную конференцию по архитектуре True Tech Arch;

• полезные курсы и вебинары в корпоративном университете и электронную библиотеку.

А еще:

• ДМС с первого месяца работы, включая стоматологию;

• страхование от несчастных случаев с 1 месяца работы. Материальную помощь в сложных жизненных ситуациях;

• отпуск 28 календарных дней;

• прием врачей общей практики и массаж в офисе;

• мобильная связь за счет компании и льготные тарифы для близких;

• подписка на онлайн-кинотеатр KION, сервис МТС Музыка, книжный сервис Строки от МТС, безлимитные мессенджеры и соцсети.