Дата-инженер

ОТР 2000 - это ИТ-компания с опытом успешной реализации масштабных проектов разработки, внедрения и сопровождения ПО для государственного и коммерческого сектора. В 2025 году нам исполнилось 25 лет!

Сейчас мы в поиске Дата-инженера

Задачи:

• Разработка ELT-пайплайнов: Проектирование и автоматизация загрузки данных из источников (например, PostgreSQL) в ClickHouse, включая потоковую обработку (Kafka);
• Развитие платформы данных: Развертывание и поддержка инфраструктуры (ClickHouse, Apache Superset, Apache NiFi, Kafka);
• Оркестрация и автоматизация: Перевод процессов на Airflow/Prefect и визуальное проектирование потоков в NiFi;
• Обеспечивать стабильность и отказоустойчивость решений (Docker / Kubernetes, мониторинг, HA);
• Управление метаданными: Внедрение и поддержка каталога данных (Data Catalog) для учета изменений и разграничения прав;
• Оптимизация: Обеспечение производительности DWH, надежность пайплайнов и миграция отчетов из legacy-систем;
• Самостоятельно вести задачи полного цикла: от проектирования архитектуры до внедрения и дальнейшей поддержки;
• Оформление по ТК РФ;
• Заработная плата по результатам собеседования.

Что нужно для успешного старта:

• Высшее образование;

Навыки (обязательные):

• Проектирование и реализация ETL/ELT-процессов, включая загрузку данных из PostgreSQL в ClickHouse (Python/SQL, инкрементальные загрузки, CDC, Debezium или прямые коннекторы);
• Уверенное владение SQL и Python;
• Практические навыки работы с ClickHouse: проектирование схем, настройка partitioning и materialized views, оптимизация запросов и производительности;
• Понимание архитектуры DWH, методологий ETL/ELT и принципов потоковой передачи данных;
• Опыт работы с инфраструктурой Big Data и построением масштабируемых решений обработки данных;
• Навыки работы с Apache NiFi для интеграции и визуального проектирования потоков данных;
• Развертывание и поддержка ClickHouse-кластеров в Docker / Kubernetes, понимание принципов масштабирования и отказоустойчивости (HA);
• Навыки мониторинга и обеспечения надежности решений (Grafana / Prometheus), участие в миграции и оптимизации legacy-отчетности;
• Уровень Middle+: самостоятельное ведение задач полного цикла — от проектирования и внедрения до поддержки и развития решения, способность предлагать технические решения.

Навыки (желательные):

• Уверенная работа с Kafka (управление топиками и partitions);
• Знание Airflow / Prefect: разработка и поддержка DAG, создание operators для ClickHouse и Kafka, миграция legacy-процессов на оркестраторы;
• Знание подходов к управлению метаданными: внедрение Data Catalog (Amundsen, DataHub или аналоги), построение metadata-driven пайплайнов, настройка lineage и RBAC;
• Понимание требований compliance (GDPR / ФЗ-152).

Что мы предлагаем:

• Возможность принять участие в социально-значимых проектах федерального масштаба, перенимая экспертизу у настоящих профи;
• Все льготы и преимущества работы в аккредитованной ИТ-компании;
• Система наставничества на время адаптации и поддержка в профессиональном развитии;
• Долгосрочные проекты и возможность перехода в другие команды;
• Доверие к сотрудникам и отсутствие микроменеджмента;
• Приятные бонусы - корпоративные скидки в SkyEng, СИТИЛИНК, xFit, оплата обучения и другие льготы в составе гибкого соцпакета.