Инженер по обеспечению надежности данных (DataOps / DevOps DWH)

Мы в поисках инженера эксплуатации систем и компонентов платформы данных (DevOps (DWH) / DataOps)

Основные задачи будут сфокусированы на поддержке текущей инфраструктуры платформы данных (vertica, hadoop, trino) и миграции компонентов на новую архитектуру в облако и k8s.

Эта роль предполагает тесное взаимодействие с DWH, DE и Analyst инженерными командами, а также участие в развитии внутренних стандартов и best practices.

Чем предстоит заниматься:

• Проектирование, развёртывание и сопровождение отказоустойчивых хранилищ данных (Vertica, Trino, Hadoop);

• Настройка и поддержка мониторинга и алертинга для хранилищ данных и инфраструктурных компонентов;

• Автоматизация процессов эксплуатации и развёртывания инфраструктуры с использованием IaC;

• Поддержка и развитие платформенных компонентов: кластеров, систем оркестрации, пайплайнов обработки данных, систем развёртывания;

• Поддержка и оптимизация инфраструктуры в Yandex Cloud и на Bare Metal;

• Работа с системами обработки данных: Spark, Airflow, Trino, JupyterHub;

• Взаимодействие с командами Data Science, Data Engineering и Platform Engineering для обеспечения стабильной и масштабируемой инфраструктуры.

Мы ожидаем:

• Опыт автоматизации на любом языке программирования (у нас в основном python);

• Опыт эксплуатации и оптимизации распределенных баз данных в production (репликация, шардирование, профилирование запросов, настройка отказоустойчивости) - Vertica, Greenplum, Mongo, Cassandra, Hive, Trino, etc - не заостряем внимание на конкретной бд, главное понимать архитектуру MPP, сильные и слабые стороны;

• Знание принципов CI/CD и эксплуатации распределённых систем;

• Опыт работы с IaC-инструментами (Terraform, Ansible, Puppet, Chef - любой).

Будет плюсом:

• Опыт работы с Kubernetes, Helm, Docker;

• Опыт построения конвейеров загрузки данных (batch/streaming) с использованием Kafka, Airflow, Debezium и др.;

• Опыт эксплуатации BI-инструментов: PowerBI, SapBO, Datalens, FineBI, etc.;

• Опыт работы с Yandex Cloud.