Middle Data Engineer в Holocron

Holocron — команда, которая отвечает за инфраструктуру данных в 2ГИС. Мы строим и поддерживаем системы, через которые проходят события от боевых сервисов до аналитических витрин. Обеспечиваем надёжную доставку данных, их хранение, обработку и доступ для всех, кто с ними работает.

Сейчас мы развиваем корпоративную дата-платформу нового поколения. Это не просто перенос пайплайнов — это переосмысление архитектуры, техстека и подходов. Мы отказываемся от легаси, сохраняем лучшее (например, Apache Spark) и закладываем фундамент, на котором будут работать десятки инженерных команд.

Что предстоит делать:

• Расширять существующие форматы данных;
• Разрабатывать и поддерживать ETL/ELT-процессы;
• Автоматизировать batch-расчёты;
• Подключать новые источники данных;
• Участвовать в миграции пайплайнов с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse);
• Работать с большими объемами данных и высоконагруженными Kafka-топиками.

Почему это интересно:

• Участвуешь в создании дата-платформы с нуля — от архитектуры до продакшена;
• Влияешь на технологический курс всей компании;
• Работаешь с современным стеком: Spark 3+, Kafka, S3, ClickHouse;
• Получаешь опыт, который сложно получить в рамках устоявшихся решений;
• Решаешь реальные технические вызовы: масштабируемость, отказоустойчивость, строгие SLA.

Кого мы ищем:

• У тебя есть опыт работы с данными — от junior+ до уверенного middle;
• Понимаешь, как устроены ETL/ELT-процессы;
• Умеешь писать SQL и читаешь логику отчётов без боли;
• Знаком с Apache Spark, Kafka, ClickHouse — будет плюсом;
• Пишешь на одном из языков (например, Scala или Python);
• Хочешь развиваться в направлении построения дата-инфраструктуры.

Как мы работаем:

• Не боимся убирать легаси — осознанно избавляемся от устаревших решений;
• Оцениваем эффективность не по объёму кода, а по бизнес-ценности;
• Любим нестандартные, но обоснованные инженерные решения;
• Верим в понятную архитектуру и human-friendly документацию;
• Умеем договариваться — и с бизнесом, и между собой.

Что предлагаем:

• 2ГИС — аккредитованная IT-компания.
• Если хочешь работать в гибридном формате, у нас есть офисы в Москве, Санкт-Петербурге, два классных офиса в Новосибирске. Также у нас можно работать 100% удалённо.
• Само собой, полностью белая зарплата, размер обсуждается на собеседовании, потолка нет.
• Есть ДМС, штатный терапевт, невролог, мед.консультант и другие IT-плюшки.
• Если хочешь делиться своим опытом, мы только за — поможем с выступлениями на конференциях и статьями для Хабра.