Data Engineer
По договоренности
Job Description: We are seeking a talented and motivated Data Engineer to join our dynamic team. The ideal candidate will have a strong background in software development, data engineering, and cloud technologies. You will play a crucial role in developing and implementing and ongoing adoption of our Data Lakehouse architecture, ensuring high availability, scalability, and performance – based on the requirements road-mapped through Business Analysis . This role will work under a local Russia based leader, and cooperate with colleagues covering Full Stack Engineering and Reliability Engineering - also as part of the broader EMEA and Global Chapters.
Key Responsibilities:
- Design, develop, and maintain software solutions for the Data Lakehouse architecture.
- Collaborate with cross-functional teams to define, design, and ship new features.
- Implement data ingestion, transformation, and storage processes using tools equivalent to Apache Airflow, Trino, and dbt.
- Ensure data quality and integrity through rigorous testing and validation, utilising Intelligent Automation principles for development, testing and release.
- Monitor system performance and troubleshoot issues to ensure optimal operation in line with expected SLAs
- Participate in code reviews and contribute to continuous improvement initiatives, working with and guiding third party vendors.
- Stay up-to-date with emerging technologies and industry trends, and applying this to the Russia ecosystems.
- Adhere to and leverage best practices as applicable from the Global Data Engineering Chapter, ensuring relevance to the local Russia market.
Qualifications:
- Bachelor's degree in Computer Science, Engineering, or a related field.
- Proven experience in software development, with a focus on and data engineering and cloud technologies. Including Yandex, AWS, Azure.
- Proficiency in programming languages such as Python, Java, SQL or Scala.
- Experience with data processing frameworks such as Apache Airflow, Trino, and dbt.
- Familiarity with cloud platforms, preferably Yandex Cloud.
- Strong understanding of data modeling, ETL processes, and data warehousing concepts.
- Excellent problem-solving skills and attention to detail.
- Strong communication and collaboration skills.
- English - Fluent
Preferred Qualifications:
- Experience with container orchestration platforms such as Kubernetes.
- Knowledge of data storage formats like Apache Iceberg.
- Familiarity with monitoring tools such as Grafana.
- Understanding of data protection regulations and compliance requirements for the Russia market.
Опубликована 21 день назад
Похожие вакансии
Что нужно делать: Поддерживать процессы для продуктовых команд. Принимать участие в разработке продуктов на основе больших данных. Участвовать в формировании модели данных. Писать скрипты SQL и Python. Для нас важно: Высшее профильное образование на ...
- Полный день
- Без опыта
- Москва
18 дней назад
Обязанности: Дорабатывать и поддерживать ETL-процессы Анализировать данные и валидации Работать с DAG (Airflow) и документацией Взаимодействоать с DDL и базами данных Ознакомливаться с аналитическими инструментами Требования: Базовые знания Python и ...
- Полный день
- Без опыта
- Москва
24 дня назад
Наша команда создаёт алгоритмы управления для собственного собственного антропоморфного робота Сбера В настоящее время фокус на управлении всем телом, обучении нейросетевого контроллера, который мог бы исполнить любую команду - от приветствия рукой д...
- Полный день
- Без опыта
- Москва
день назад
... анализ, пилотирование новых инструментов и лучших практик в процессах взыскания (социальные сети, big data ...
- Полный день
- Без опыта
- Москва
6 дней назад
Обязанности: • разработка и поддержание различных внутренних моделей Collection с помощью методов классического машинного обучения (обобщенные линейные модели, градиентный бустинг, случайный лес и иное); • создание новых признаков и их применение в м...
- Полный день
- Без опыта
- Москва
12 дней назад