Data Engineer

По договоренности


Job Description: We are seeking a talented and motivated Data Engineer to join our dynamic team. The ideal candidate will have a strong background in software development, data engineering, and cloud technologies. You will play a crucial role in developing and implementing and ongoing adoption of our Data Lakehouse architecture, ensuring high availability, scalability, and performance – based on the requirements road-mapped through Business Analysis . This role will work under a local Russia based leader, and cooperate with colleagues covering Full Stack Engineering and Reliability Engineering - also as part of the broader EMEA and Global Chapters.

Key Responsibilities:

  • Design, develop, and maintain software solutions for the Data Lakehouse architecture.
  • Collaborate with cross-functional teams to define, design, and ship new features.
  • Implement data ingestion, transformation, and storage processes using tools equivalent to Apache Airflow, Trino, and dbt.
  • Ensure data quality and integrity through rigorous testing and validation, utilising Intelligent Automation principles for development, testing and release.
  • Monitor system performance and troubleshoot issues to ensure optimal operation in line with expected SLAs
  • Participate in code reviews and contribute to continuous improvement initiatives, working with and guiding third party vendors.
  • Stay up-to-date with emerging technologies and industry trends, and applying this to the Russia ecosystems.
  • Adhere to and leverage best practices as applicable from the Global Data Engineering Chapter, ensuring relevance to the local Russia market.

Qualifications:

  • Bachelor's degree in Computer Science, Engineering, or a related field.
  • Proven experience in software development, with a focus on and data engineering and cloud technologies. Including Yandex, AWS, Azure.
  • Proficiency in programming languages such as Python, Java, SQL or Scala.
  • Experience with data processing frameworks such as Apache Airflow, Trino, and dbt.
  • Familiarity with cloud platforms, preferably Yandex Cloud.
  • Strong understanding of data modeling, ETL processes, and data warehousing concepts.
  • Excellent problem-solving skills and attention to detail.
  • Strong communication and collaboration skills.
  • English - Fluent

Preferred Qualifications:

  • Experience with container orchestration platforms such as Kubernetes.
  • Knowledge of data storage formats like Apache Iceberg.
  • Familiarity with monitoring tools such as Grafana.
  • Understanding of data protection regulations and compliance requirements for the Russia market.

Поделиться:

Опубликована 21 день назад

Похожие вакансии

Что нужно делать: Поддерживать процессы для продуктовых команд. Принимать участие в разработке продуктов на основе больших данных. Участвовать в формировании модели данных. Писать скрипты SQL и Python. Для нас важно: Высшее профильное образование на ...
  • Полный день
  • Без опыта
Логотип компании T2T2
  • Москва
18 дней назад
Обязанности: Дорабатывать и поддерживать ETL-процессы Анализировать данные и валидации Работать с DAG (Airflow) и документацией Взаимодействоать с DDL и базами данных Ознакомливаться с аналитическими инструментами Требования: Базовые знания Python и ...
  • Полный день
  • Без опыта
Логотип компании Альфа-БанкАльфа-Банк
  • Москва
24 дня назад
Наша команда создаёт алгоритмы управления для собственного собственного антропоморфного робота Сбера В настоящее время фокус на управлении всем телом, обучении нейросетевого контроллера, который мог бы исполнить любую команду - от приветствия рукой д...
  • Полный день
  • Без опыта
Логотип компании СБЕРСБЕР
  • Москва
день назад
... анализ, пилотирование новых инструментов и лучших практик в процессах взыскания (социальные сети, big data ...
  • Полный день
  • Без опыта
Логотип компании СБЕРСБЕР
  • Москва
6 дней назад
Обязанности: • разработка и поддержание различных внутренних моделей Collection с помощью методов классического машинного обучения (обобщенные линейные модели, градиентный бустинг, случайный лес и иное); • создание новых признаков и их применение в м...
  • Полный день
  • Без опыта
Логотип компании Альфа-БанкАльфа-Банк
  • Москва
12 дней назад
Мы обрабатываем данные посетителей и используем куки в соответствии с политикой конфиденциальности.