Инженер данных / Data Engineer
По договоренности
Вы будете:
- Проектировать и разрабатывать витрины данных
- Проектировать, разрабатывать и поддерживать процессы ETL для загрузки данных в/из Data Lake
- Оптимизировать работу существующих дата-пайплайнов
- Интегрировать новые источники данных в Data Lake
- Разрабатывать механизмы контроля качества загружаемых данных (ручные и автоматические тесты DQ)
- Проводить и проходить код-ревью
- Помогать и обучать менее опытных коллег
- Прививать практики "хорошего кода" в команде
Мы ожидаем:
- Образование в ИТ, фундаментальных науках
- Свободный русский, английский на уровне выше среднего
- Понимание работы базы данных и принципов разработки DWH
- Понимание хранилищ данных, очистки данных, конвейеров данных и других аналитических методов, необходимых для использования данных
- Опыт работы с технологиями, S3, Airflow, Apache Spark, Clickhouse, Postgres от 5 лет
- Хорошее знание SQL, Python (PySpark) / Scala от 5 лет
- Опыт разработки потоковой передачи данных, опыт работы с CDC
- Опыт работы со стеком Yandex Cloud Platform/ Azure от 3 лет
- Опыт работы с Docker, Kubernetes
Мы предлагаем:
- Конкурентную заработную плату, квартальные/годовые премии
- Расширенный ДМС для тебя и членов семьи, включая стоматологию
- Гибридный график работы
- Страхование жизни с первого рабочего дня
- 100% оплату больничного листа
- Корпоративную программу софинансирования долгосрочных накоплений
- Компенсацию питания, оплату мобильной связи и интернета
- Возможности карьерного и профессионального развития, а также обучение за счет компании
- Корпоративную программу по поддержке здоровья и благополучия сотрудников (консультации с финансовыми специалистами, юристами, психологами и экспертами по здоровому образу жизни, марафоны здоровья и др.)
- Работу в современном дружелюбном к домашним питомцам офисе
- Возможность приобретать продукцию компании с корпоративной скидкой
- Уютную кухню с перекусами, кофе и чаем
- Систему бонусов и скидок от компании и партнеров
Опубликована 3 часа назад
Похожие вакансии
Вакансии быстро закрываются — подпишитесь на наш канал в MAX сейчас, чтобы видеть их первыми.
Подписаться в MAX SberData отвечает за развитие платформы для работы с данными в Сбере. У нас свыше 230 Петабайт данных, около сотни продуктов и сервисов для клиентов, включая Супермаркет данных, Дататеку, Лабораторию данных, Графовую платформу и многие другие. Мы соз...
- Полный день
- Опыт от 1 года
- Москва
день назад
Проект предполагает создание полностью нового дашборда на BI-платформе Банка (АС Навигатор), который мог бы выполнять те же функции, что и текущие дашборды в QlikSense, с учетом того, что не весь функционал при миграции возможно наследовать. Для этог...
- Полный день
- Опыт от 1 года
- Москва
2 дня назад
Мы — амбициозная команда, которая занимается развитием BI-отчетности, автоматизацией процессов регистрации инцидентов операционного риска и подготовкой данных для ML моделей. Мы создаём инновационные продукты, которые повышают эффективность и прозрач...
- Полный день
- Опыт от 1 года
- Москва
3 часа назад
Автономные технологии — компания, которая разрабатывает инновационные решения, направленные на улучшение и совершенствование робототехники и технологий машинного обучения с применением передовых технологий искусственного интеллекта (ИИ) и уникальных ...
- Полный день
- Опыт от 1 года
- Москва
5 дней назад
Обязанности: Подготовка и очистка датасетов для задач компьютерного зрения Разметка и валидация данных (самостоятельно и с помощью инструментов/команды) Конвертация датасетов между форматами (COCO, YOLO, Pascal VOC и др.) Анализ качества датасета, ба...
- Полный день
- Опыт от 1 года
- Москва
день назад