Разработчик ClickHouse

Проект крупного Банка - ТОП3 - Центр Корпоративных Решений. Отвечаем за все виды удаленного обслуживания юридических лиц.

Твои задачи:

• Трансформировать сырые данные (бинлоги, события, транзакции) в чистые, оптимизированные витрины данных для BI-систем и ad-hoc аналитики
• Выбирать правильную модель данных (схема «звезда», плоские таблицы) в зависимости от бизнес-задач
• Оптимизировать структуру таблиц: выбирать ключ сортировки (ORDER BY) и партиционирования (PARTITION BY), использовать Skip Indexes и TTL.
• Контролировать качество данных и проводить валидацию
• Разрабатывать автоматические тесты и чеки на корректность данных в витринах (подсчет контрольных сумм, сравнение с эталоном, проверка на «дыры»)
• Мониторить производительность запросов к витринам
• Искать и устранять причины «медленных» запросов
• Писать документацию и проводить внутренние митапы для аналитиков и смежных разработчиков

Что мы ждем от тебя:

• Коммерческий опыт работы с ClickHouse от 1 до 3+ лет
• Понимание движка MergeTree: Вы не просто пишете INSERT и SELECT, а понимаете, как работают первичные индексы, что такое гранулы и как разреженный индекс влияет на скорость.
• Опыт проектирование схем: Умение различать Order By и Primary Key в ClickHouse и правильно выбирать их для конкретных бизнес-срезов.
• Опыт написания тестов для пайплайнов данных. Понимание, что дата-инженер отвечает не только за скорость, но и за то, чтобы цифры в отчетах были верными.
• Опыт написания сложных запросов с оконными функциями, JOIN (с пониманием их ограничений в ClickHouse), работа с массивами и Nested типами.
• Готовность объяснять сложное простыми словами. Опыт обучения коллег будет вашим плюсом.