Senior Data Engineer [Trust & Safety]

Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ.

Вместе с масштабным развитием IT-направления мы формируем культуру Trust and Safety, гарантируя непрерывную безопасность и доверие между компанией, её сотрудниками, пользователями и клиентами.

Мы — команда платформы данных, строим мощную Data-платформу, которая объединяет решения для хранения больших данных, высокопроизводительных запросов (OLAP), потоковой и пакетной обработки, визуализации и оркестрации данных.

Разрабатываем core-инфраструктуру и инструменты для работы с экстремальными объемами: таблицами на десятки миллиардов строк и 200+ ТБ данных.

Сейчас мы в поиске разностороннего Data-инженера, который сможет не только проектировать и разрабатывать пайплайны данных, но и активно участвовать в развитии платформенных сервисов, которому интересно разбираться в новом, писать CI/CD-пайплайны для выкладки кода и конфигураций, который не боится задач на стыке разработки и Data-инжиниринга.

Вам предстоит:

• Развивать платформу: внедрение, настройка и поддержка компонентов платформы данных, обеспечение их отказоустойчивости и масштабируемости.
• Работать с архитектурой данных: проектирование и оптимизация архитектуры хранения больших данных, разработка эффективных схем данных под аналитические задачи.
• Настройка и оптимизация пайплайнов обработки данных (как потоковых, так и батчей), обеспечение качества и надежности данных на всех этапах.
• Мониторинг производительности кластеров, тюнинг запросов, управление доступом и поддержка пользователей (аналитиков, дата-сайентистов).
• Быстро погружаться в новые предметные области и технологии для решения нестандартных задач.

Вы нам подходите, если:

• Имеете опыт от 5 лет в области Data Engineering;
• Понимаете принципы работы с Big Data (распределенные вычисления, партиционирование, шардирование);
• Умеете проектировать сложные архитектуры решений для обработки данных;
• Отлично знаете SQL и имеете опыт оптимизации сложных запросов (особенно для OLAP-систем);
• Опытны в работе с потоковой обработкой данных и батч-процессами;
• Уверенно владеете Python для написания скриптов автоматизации, интеграционных задач;
• Имеете практический опыт настройки CI/CD пайплайнов для Data проектов: линтеры, тесты, автоматическая выкладка дагов Airflow или dbt-моделей.

Будет плюсом:

• Опыт администрирования или глубокой эксплуатации Clickhouse.
• Знакомство с инструментами Data Quality (Great Expectations, Soda, dbt tests).

Условия для сотрудников:

• Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;
• Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;
• Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;
• Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;
• Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;
• Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.