Devops / SRE-инженер (ClickHouse, Kafka)

DevOps / SRE-инженер с экспертизой ClickHouse и Kafka

Приветствую! Меня зовут Эля, я являюсь HR компании «Амбрелла — Защита Информационных Систем».

Мы — аккредитованная IT-компания в сфере информационной безопасности. Развиваем и сопровождаем высоконагруженную SIEM-платформу для сбора, хранения и обработки событий информационной безопасности. В качестве хранилища событий используется ClickHouse.

Мы ищем DevOps / SRE-инженера с глубокой практической экспертизой по ClickHouse и уверенным пониманием Kafka Operations.

Основной фокус роли — промышленная эксплуатация ClickHouse в продуктивной среде: кластеры, репликация, шардирование, производительность, хранение больших объёмов данных, резервное копирование, восстановление, мониторинг, безопасность и безопасное проведение изменений.

Дополнительная важная зона — Kafka: диагностика lag, настройка topics, partitions и retention, мониторинг и анализ проблем.

Нам нужен инженер, который умеет безопасно эксплуатировать и развивать кластер с критически важными данными: планировать изменения, проверять гипотезы на стендах, оценивать риски, готовить rollback-план и только после этого применять изменения в production.

Чем предстоит заниматься:

ClickHouse и хранение данных:

• Администрировать продуктивные и тестовые кластеры ClickHouse;
• Контролировать состояние шардов, реплик, Distributed- и ReplicatedMergeTree-таблиц;
• Диагностировать проблемы репликации, очередей, merges, mutations, inserts и деградации производительности;
• Анализировать системные таблицы ClickHouse, производительность записи и чтения данных;
• Планировать горизонтальное масштабирование и участвовать в изменении топологии кластера: добавлении шардов, реплик и серверов;
• Оценивать влияние изменений на доступность, производительность, консистентность данных и downtime;
• Оптимизировать схемы данных, партиционирование, ключи сортировки, TTL, индексы, storage policies и настройки сервера;
• Настраивать и сопровождать ClickHouse Keeper / ZooKeeper;
• Настраивать TLS/SSL и участвовать в построении модели безопасного доступа;
• Разрабатывать и проверять процедуры backup/restore и disaster recovery;
• Проектировать и сопровождать архитектуру hot / warm storage, включая S3-совместимое объектное хранилище;
• Настраивать storage policies и TTL-политики для перемещения данных между уровнями хранения;
• Контролировать прирост данных, заполнение дисков и прогнозировать потребность в хранилище;
• Настраивать мониторинг, алерты и дашборды по ClickHouse.

Kafka Operations:

• Администрировать Kafka-кластеры в продуктивной и тестовой среде;
• Контролировать состояние brokers, topics, partitions, replication factor, consumer groups и lag;
• Настраивать и сопровождать Kafka topics под разные типы событий и профили нагрузки;
• Планировать количество partitions, replication factor, retention policy и параметры durability;
• Диагностировать consumer lag, rebalancing, under-replicated и offline partitions, broker failures и throughput bottlenecks;
• Настраивать мониторинг Kafka и защищённые соединения TLS/SSL, SASL и ACL;
• Участвовать в безопасном изменении конфигурации и обновлении Kafka-кластера.

Стенды и автоматизация:

• Разворачивать тестовые стенды ClickHouse и Kafka для проверки архитектурных решений;
• Проверять гипотезы по производительности, хранению, масштабированию и отказоустойчивости;
• Проводить нагрузочные и сравнительные тесты конфигураций;
• Проверять обновления, изменения топологии, storage policies и S3-хранилище до применения в production;
• Автоматизировать типовые операции эксплуатации через Ansible, Bash, Python, Terraform или аналогичные инструменты;
• Готовить runbook’и, инструкции, чек-листы, технические отчёты и практические рекомендации для команды.

Мы ожидаем:

• Практический опыт промышленной эксплуатации ClickHouse;
• Понимание архитектуры ClickHouse: shards, replicas, Distributed tables, ReplicatedMergeTree и MergeTree family;
• Опыт диагностики replication queue, merges, mutations, insert/select latency, деградации запросов и проблем с дисковой подсистемой;
• Понимание партиционирования, ключей сортировки, TTL, storage policies, disks, volumes и data skipping indexes;
• Опыт изменения топологии ClickHouse-кластера или глубокое понимание порядка и рисков таких изменений;
• Опыт настройки TLS/SSL для ClickHouse;
• Опыт эксплуатации Linux-серверов и понимание влияния CPU, RAM, disk I/O, network и filesystem на работу ClickHouse и Kafka;
• Практический опыт эксплуатации Kafka или уверенное понимание Kafka Operations;
• Понимание архитектуры Kafka: brokers, topics, partitions, replication factor, offsets и consumer groups;
• Опыт диагностики consumer lag, broker failures, under-replicated partitions, disk pressure и throughput bottlenecks;
• Понимание retention policy, durability, producer / consumer tuning;
• Опыт настройки мониторинга и алертов для ClickHouse, Kafka и инфраструктуры;
• Опыт работы с Prometheus, Grafana, Zabbix или аналогичными системами мониторинга;
• Умение безопасно проводить изменения в production: составлять план работ, оценивать риски, готовить rollback-план и проверять результат;
• Умение готовить техническую документацию: инструкции, runbook’и, чек-листы и postmortem-отчёты.

Будет плюсом:

• Опыт эксплуатации ClickHouse в составе SIEM, SOC, log management, observability, telemetry или других event-based систем;
• Опыт работы с большими объёмами данных — сотни ТБ;
• Опыт работы с Kafka Connect, Vector, Fluent Bit, Logstash, rsyslog или аналогичными инструментами доставки событий;
• Опыт работы с ClickHouse Keeper или ZooKeeper;
• Опыт эксплуатации ClickHouse / Kafka на bare metal;
• Опыт работы с DAS, локальными дисковыми массивами и S3-совместимыми объектными хранилищами;
• Опыт нагрузочного тестирования ClickHouse и Kafka и построения процедур disaster recovery;
• Опыт автоматизации через Ansible, Terraform, Bash или Python;
• Опыт подготовки архитектурных и эксплуатационных документов для заказчиков.
  
  Что важно для нас:
• Инженерная аккуратность и понимание рисков production-среды;
• Умение проверять гипотезы на стенде до применения изменений в production;
• Способность работать с высоконагруженными системами и критически важными данными;
• Умение разбираться в сложных инцидентах на стыке приложения, базы данных, брокера сообщений, Linux, сети и дисковой подсистемы;
• Готовность документировать решения и передавать знания команде;
• Способность не только устранять проблемы, но и выстраивать устойчивые эксплуатационные процессы.

Формат работы:

• Работа с продуктивной, тестовой и лабораторной инфраструктурой;
• Взаимодействие с командой эксплуатации, инженерами SIEM, разработчиками, архитекторами и техническими представителями заказчика;
• Участие в планировании изменений, разборе инцидентов и развитии архитектуры хранения событий;
• Оформление по ТК РФ;
• Удаленный формат работы.

Всегда рады новым талантам и новым успехам наших сотрудников!