Data engineer

Что мы предлагаем:

• Гибридный формат работы с гибким началом рабочего дня;

• Обучение на любой онлайн платформе за счет компании;

• ДМС после 3 месяцев работы;

• 3 дополнительных оплачиваемых выходных в год;

• Занятия корпоративным английским еженедельно;

• Занятия спортом: корпоративный волейбол, футбол, настольный теннис, йога;

• Подарки на день рождения, рождение ребенка и свадьбу;

• Подарки за стаж работы в компании;

• Ежемесячные корпоративные мероприятия;

• Скидку 50% на обеды в ресторанах Токио Сити и Бахрома и карта на скидку 30% в ресторанах франшизы;

• Скидку 30% на проживание на базе отдыха у Ладожского озера;

• Современный офис в пешей доступности от станций метро Чкаловская/Спортивная/Петроградская;

• Уникальную возможность развиваться в команде профессионалов;

• Участие в значимых проектах и дружелюбную атмосферу и поддержку коллег.

Ключевые задачи:
Глобальная задача - разработка единой платформы данных для большой ресторанной сети, что включает в себя:

• Анализ требований от заказчиков(от C-level до аналитиков данных) - помощь в организации управления данных, консультации по управлению данными;

• Глубокий анализ множества разнообразных источников данных со сложной внутренней структурой. Выявление аномалий на источниках - поиск компромиссных решений при возникновении проблем на уровне данных на источнике;

• Разработка автоматизированных ETL-пайплайнов на базе Airflow и Python(предпочтительно, но не обязательно). Работа с внешними API. Разработка ETL по глобальной и локальным сетям;

• Управление хранилищем данных. Участие в разработке единой модели данных и разложении данных по слоям;

• Помощь в оптимизации хранения и представления данных на слое витрин;

• Участие в разработке gitlab ci/cd пайплайнов, управление контейнерами, возможна разработка собественных сервисов на базе kubernetes pod.

Мы ждем от тебя:

• Опыт участия или проектирования разработки единой платформы данных(Проект новый - legacy нет вообще - но важно закладывать фундамент будущей единой платформы данных сразу, а не решать разовые задачи);

• Желание и способность вникать во множество разнообразных источников данных и разбираться в их внутреннем устройстве - искать аномалии и несогласованности;

• Помогать аналитикам и C-level приобретать навыки по управлению данными в компании.

Технические требования:

Для ETL:

• Python;

• Airflow;

• SQL.

Для хранения:

• Postgres;

• Навыки работы с распределенными файловыми хранилищами или MPP-системами.

Общие:

• Знакомство с облачными технологиями;

• Архитектура распределенных вычислительных систем;

• Моделирование данных;

• BI;

• DevOps(gitlab ci/cd, docker, kubernetes);

• Bash, git.