Data Engineer

Мы крупная PropTech -компания, которая развивает портфель сервисных проектов на рынках ОАЭ, Турции, Испании, Таиланда, США, Кипра, Бали, Вьетнама и других зарубежных направлений.

В настоящее время в связи с расширением мы в поиске Data-инженера.

Задача - разработать и создать с нуля всю инфраструктуру, а именно:

• извлечения данных оптимальным способом;
• подготовки данных, их очистки и обогащения;
• доставки данных потребителю в удобном формате;
• хранения данных: выбор подходящего способа хранения, оптимальной структуры, сжатия, секционирования и глубины;
• развертывания и поддержки инфраструктуры, мониторинга ее состояния.

Какие навыки нужны:

Computer science

• Знания базовых алгоритмов, умение пользоваться основными структурами данных и оценивать сложность алгоритмов
• ООП, паттерны проектирования, понимание как работают распределенные системы.

Работа с данными

• SQL и разные диалекты — Postgres/Greenplum, Oracle, Clickhouse, Hive;
• устройство реляционных баз данных;
• разновидности NoSQL-решений — когда и зачем их выбирать и как готовить;
• технологии BigData (Hadoop-стек);
• брокеры сообщений (Kafka).

Основы хранилищ данных

• теория построения хранилищ данных, слои и архитектурные подходы;
• моделирование и нормализация данных;
• ETL, способы организации конвейеров и их оптимизации;
• навыки работы с ETL-инструментами и инструментами управления конвейерами обработки данных, такими как Apache Airflow или Apache NiFi или Apache Flink.

Инженерные навыки

• Linux на уровне опытного пользователя;
• навыки работы с Git;
• понимание, что такое CI/CD и зачем оно вообще нужно;
• навыки обращения с docker-контейнерами;
• умение работать с k8s- и cloud-решениями.

Стэк

• Python (def, pandas), SQL
• Airflow
• Git
• Hadoop, Postgres (window, index, performance), столбчатые БД.
• Создание и поддержание моделей данных (dbt)
• ETL/ELT

Мы предлагаем:

— Полностью удаленная работа из любой точки мира, 8-часовой рабочий день, 40-часовую рабочую неделя.

— Зарплатные ожидания готовы обсуждать после собеседования

— Работу в современной, технологичной IT-компании в команде экспертов и единомышленников

— Высококлассный IT/digital-продукт – актуальный, пользующийся спросом, с высоким потенциалом роста

— Возможность самореализации и личностного и профессионального развития