Аналитик по наблюдаемости и контролю данных

Мы ищем специалиста, который будет глубоко вовлечён в процессы качества, прозрачности и надежности данных внутри платформы мониторинга (observability). Эта роль предполагает непосредственную работу с потоками данных: анализ, проверку, тестирование и сопровождение инцидентов, а также участие во внедрении и поддержке лучших практик наблюдаемости.

Обязанности:

• Проводить анализ потоков данных и метрик в системах мониторинга и наблюдаемости;
• Проверять данные на полноту, корректность и соответствие требованиям, использовать подходы Data QA для обеспечения качества и достоверности данных;
• Детально разбирать инциденты и выявлять причины проблем с данными (исследование логов, трассировок, метрик, работа с ETL), документировать ошибки и вносить предложения по их устранению, вести структурированную базу знаний;
  Оформлять и поддерживать техническую документацию: схемы потоков, чек-листы, инструкции, описание архитектуры;
• Принимать участие во внедрении и поддержке стандартов и методик контроля качества данных (Data Reliability/Observability Best Practices);
• Участвовать в развитии и поддержке in-house платформы мониторинга: вносить улучшения, автоматизировать процессы контроля и проверки данных;
• Распространять и внедрять эти процессы и стандарты: делиться компетенциями, создавать обучающие материалы\инструкции, консультировать команды разработчиков и сопровождения.

Требования:

• Имеете опыт работы с инструментами мониторинга и наблюдаемости (Prometheus, Grafana, ELK/EFK, OpenTelemetry или аналоги);
  Понимаете, как устроены потоки данных, умеете разбирать структуру и формат метрик, логов, событий и данных ETL;
• Обладаете практическим опытом работы с ETL/ELT-процессами — умеете самостоятельно настраивать, поддерживать и оптимизировать пайплайны передачи и трансформации данных;
• Знаете основы построения архитектуры ETL: знакомы с концепциями источников и приёмников данных, знаете форматы хранения (CSV, JSON, Parquet и др.), используете методы валидации, проверки и очистки данных;
• Отлично владеете инструментами анализа данных и автоматизации проверки (SQL, Bash/Python-скрипты, Linux-utils, Jupyter Notebooks, Pandas, Airflow, Tableau, ClickHouse, Splunk и др.);
• Системно подходите к анализу инцидентов в данных (root cause analysis), умеете готовить постмортемы и рекомендации;
• Умеете грамотно вести и обновлять техническую документацию, делиться знаниями с коллегами, создавать понятные инструкции и чек-листы;
• Способны следовать и помогать внедрять стандарты и регламенты контроля качества данных, участвовать в обучении коллег;
• Обладаете внимательностью, педантичностью, любите разбираться в деталях и находить причины даже сложных аномалий в данных;
• Готовы предлагать новые инструменты для анализа и автоматизации проверки данных, участвовать во внедрении best practices и развитии культуры качества данных в команде;
• Обладаете практическим опытом Data QA: умеете разрабатывать и выполнять тесты для мониторинга и ETL-процессов, обеспечивать высокое качество и соответствие данных требованиям, использовать автоматизированные методы проверки и сопровождать аудит данных.​​​​​