Data Engineer

Мы команда SNAP IT - представители самой технологичной и стремительно эволюционирующей индустрии IT, входим в ГК Технос, которая работает на рынке IT с 1991 года.

Мы создаем ПО для ФинТеха и верим, что роботизация бизнеса - это будущее, которое наступило уже сегодня. Топовые банки уже доверили нам самые сложные высокотехнологичные проекты.

Приглашаем тебя в один из интересных и высокотехнологичных проектов СБЕР СИТИ, в команду Андромеда.

Программно-аппаратный комплекс для автоматизированного управления зданием и территорией. Команда занимается созданием рекомендательной системы мониторинга оборудования. Система смотрит данные с датчиков, находит аномалии и связи между параметрами.

Стек: Airflow, Python, есть ClickHouse и PostgreSQL. Планируется ввод: LLM, S3, Kafka.

Задачи, которые тебе предстоит решать:

1. Дорабатывать пайплайн в Airflow:

- делать DAG для почасового анализа данных;

- добавлять проверки качества данных;

- интегрировать с Telegram для алертов.

2. Работа с данными:

- организовать хранение в S3 и ClickHouse/PostgreSQL;

- создавать витрины для ML-моделей и дашбордов;

- оптимизировать запросы к временным рядам.

3. Интеграции:

- настройка выгрузки в Kafka для фронтенда;

- API-интеграции с системами мониторинга;

- подготавливать данные для LLM (в будущем).

4. Качество данных:

- мониторить качество входящих данных;

- делать алерты при сбоях;

- логировать выполнение пайплайнов.

Мы с удовольствием рассмотрим твою кандидатуру, если ты имеешь:

- опыт работы в роли Data Engineer от 3х лет;

- Python на хорошем уровне (pandas, numpy, работа с данными);

- Airflow — делать DAG'и, операторы, настраивать пайплайны;

- опыт работы с реляционными БД (PostgreSQL) или колоночными (ClickHouse);

- навыки строить ETL/ELT пайплайны (batch, streaming);

- опыт работы с S3/MinIO, хранение данных;

- умение проверять качество данных (чтоб не было дыр, старых данных, мусора);

- опыт интегрирования с API (брать и отдавать данные).

Будет плюсом:

- опыт в IoT/телеметрии/промышленном мониторинге;

- знакомство с MLOps;

- опыт настройки алертинга;

- понимание real-time обработки.

Что предлагаем мы:

• оформление в соответствии с ТК РФ: ТД или ИП;
• формат работы: удаленный на территории РФ;
• своевременную заработную плату – от 300 000 до 315 000 до вычета налогов;

• график 5/2 с 9:00 до 18:00; СБ, ВС - выходные;

• ДМС+стоматология после окончания испытательного срока;
• предоставление техники;
• мы входим в список IT лицензированных аккредитованных компаний;

• отсутствие бюрократии, прозрачность, быстрое принятие решений, а также уважение к каждому члену команды;

• поддержка в значимых событиях.