Lead Data Engineer

Мы ведущий технологический партнер Счетной палаты Российской Федерации.
АНО «Цифровой аудит» специализируется на внедрении инноваций в области Big Data и AI для создания надежных, эффективных и масштабируемых технологических решений.

Мы ищем Lead Data Engineer / руководителя команды, который возьмет на себя техническое лидерство и организацию работы по построению и поддержке нашей платформы данных.

Что нужно делать:

• Организация деятельности по созданию и поддержке аналитических хранилищ;
• Организация поддержки полного цикла ETL/ELT;
• Обеспечение поддержки в построении аналитических запросов со стороны инженерии.

Наши ожидания:

• Опыт руководства коллективом дата-инженеров не менее 3 лет
• Глубокие знания SQL:
• Знание, что такое физический и логический JOIN;
• Умение применять план запроса;
• Понимание что такое индексы, партиционирование, шардирование, сжатие данных, тюнинг параметров СУБД, распределенные таблицы, параллельные вычисления, форматы ORC/parquet;
• Опыт работы с оконными функциями, ROLLUP;
• Опыт работы с одной или несколькими аналитическими СУБД или платформами (Greenplum, Clickhouse, Vertica, Hive, Redshift или похожими);
• Понимание процессов Data-инженерии;
• Знание, чем отличаются ETL, ELT, CDC и опыт работы хотя бы с одним из этих data pipeline;
• Понимаете OLTP и OLAP, Опыт работы с Data Warehouse и Data Lake;
• Опыт разработки на языке программирования Python или Java;
• Знание Apache Airflow/Apache NiFi (иные похожие инструменты)
• Знание инструментов Pentaho Data Integration (PDI) или Hop (иные похожие инструменты);
• Умение проводить обработку структурированных данных (XML, JSON, YAML, CSV/TSV, иных)
• Опыт работы с обработкой не структурированных или слабо структурированных данных (электронные письма, логи, HTML-страницы, PDF документы, иные похожие виды данных) и извлечь из них требуемые сведения
• Навыки работы с ОС Linux
• Опыт работы с GIT

Будет плюсом:

• Опыт работы с архитектурой Data Vault
• Опыт работы с Postgres и Clickhouse
• Опыт работы с Hadoop и/или S3
• Умение "чинить" невалидные данные.

Мы предлагаем:

• Работу в аккредитованной IT компании с большим потенциалом;
• Прозрачную систему мотивации, стабильную загрузку;
• Оформление в соответствии с ТК РФ;
• Дружный коллектив и лояльное внимательное руководство;
• Разнообразный набор социальных льгот и гарантий;
• Уровень заработной платы по результатам собеседования.