- Работа в Москве
- IT, интернет, связь, телеком
- Старший инженер
- Старший инженер данных отдела разработки аналитических систем
Старший инженер данных отдела разработки аналитических систем
до 300 000 ₽
1. Разработка и поддержка data pipeline
-
Создание и оптимизация ETL/ELT-процессов для интеграции данных из разнородных источников (внешние данные о рисках, файловые хранилища и др.) в Arenadata DB и ClickHouse .
-
Построение масштабируемых потоков данных для обработки больших объемов информации, включая batch и stream processing.
-
Обеспечение надежности, производительности и отказоустойчивости pipeline (например, через Apache Airflow, Kafka Streams или собственные механизмы Arenadata).
2. Управление данными и их качеством
-
Разработка метрик и автоматизированных проверок качества данных (например, выявление дубликатов, аномалий, несогласованных форматов).
-
Внедрение процедур очистки, нормализации и преобразования данных на этапах ETL.
-
Участие в создании стандартов хранения данных (Data Governance), включая классификацию, метаданные, политики доступа и сроки хранения.
3. Архитектурное проектирование
-
Проектирование и поддержка архитектуры хранилищ данных (Data Warehouse / Data Lake) на базе Arenadata DB и Arenadata QM (ClickHouse) .
-
Оптимизация структур данных в ClickHouse (выбор движков таблиц, партиционирование, TTL, репликация).
-
Выбор и реализация процедур инкрементальной загрузки данных из источников.
-
Построение звездных/снежинковых схем для аналитических отчетов и дашбордов.
-
Интеграция Arenadata DB с ClickHouse для обеспечения гибкости анализа (например, через внешние таблицы или промежуточные слои).
4. Поддержка аналитических процессов
-
Создание витрин данных (Data Marts) для аналитиков, актуариев и менеджеров.
-
Оптимизация SQL-запросов в ClickHouse для работы с высоконагруженными сценариями (например, расчет резервов убытков, моделирование рисков).
-
Автоматизация регулярной отчетности в части подготовки данных (ежедневные/ежемесячные дашборды для руководства).
5. Соблюдение регуляторных требований
-
Подготовка данных для регуляторной отчетности (например, Solvency II, локальные нормы) с использованием Arenadata DB и ClickHouse.
-
Обеспечение конфиденциальности и безопасности данных (например, шифрование, аудит доступа к персональным данным).
-
Документирование процессов хранения и обработки данных в соответствии с требованиями регуляторов.
6. Командная работа и развитие
-
Наставничество для junior-инженеров данных (code review, обучение, передача экспертизы).
-
Участие в выборе технологических решений и инструментов для развития аналитической платформы.
-
Взаимодействие с ИТ-командами и бизнес-подразделениями для выявления потребностей и приоритетов.
- Высшее образование (плюсом будет направление: информационные технологии).
- Умение читать техническую литературу/документацию на английском языке.
- Опыт работы: 4+ лет в роли инженера данных, 2+ года с Arenadata DB (или иным хранилищем на базе Greenplum) и ClickHouse.
Технические навыки:
- Углубленное знание SQL, Python/Scala для обработки данных.
- Опыт работы с ETL-инструментами (Apache Airflow, Kafka).
- Навыки настройки и оптимизации Arenadata DB (Greenplum).
- Знание архитектур хранилищ данных и best practices моделирования данных.
- Понимание предметной области:
- Знание особенностей перестраховочного бизнеса (виды договоров, оценка рисков, убытки, премии).
- Опыт работы с финансовыми и актуарными метриками.
- Предпочтителен опыт работы в финансовых организациях и IT компаниях.
-
Готовность брать на себя ответственность за результат, проактивность и умение задавать правильные вопросы, здоровый перфекционизм и скептицизм: любовь к структурированию, систематизации.
-
Системное логическое мышление, умение описывать алгоритмы действий в процессах, лидерские качества, умение распределять задачи в команде, отличные коммуникативные навыки для взаимодействия с бизнесом и ИТ, аналитическое мышление и внимание к деталям.
- Прием на работу по трудовому договору.
- Ежеквартальная премия и премия по итогам года.
- ДМС на работника и членов семьи, страхование от критических заболеваний и несчастных случаев.
- Корпоративная мобильная связь.
- График 5/2 (гибрид).
- Офис в центре Москвы (м. Маяковская).
Опубликована 3 дня назад