Data Engineer

Стек технологий, с которым работаем: Python, Hadoop, HDFS, Spark, PostgreSQL, GreenPlum, MongoDB, S3 Minio, Airflow, GitLab.

Чем предстоит заниматься:

• писать, оптимизировать и сопровождать программный код для систем больших данных, включая реализацию ETL/ELT процессов, обработку потоковых и пакетных данных;
• проводить плановые работы по улучшению производительности и масштабируемости программного кода и архитектуры систем;
• разработкой и поддержкой модульных и интеграционных тестов (Unit Tests, Integration Tests) для обеспечения стабильности решений;
• участвовать во внедрении лучших инженерных практик, стандартов качества и процессов CI/CD для повышения эффективности разработки;
• анализом и устранением дефектов в разработанных приложениях, обеспечивая стабильную работу систем;
• оценкой трудозатрат и планировании разработки новых функциональностей;
• тесно сотрудничать с другими техническими и бизнес-подразделениями для создания решений, отвечающих требованиям компании;
• созданием и поддержкой актуальной документации, описывающую архитектуру, алгоритмы и процессы обработки данных.

Пожелания к твоему опыту:

• опыт работы на позиции Инженера больших данных или смежной от 3 лет;
• уверенные знания Python 3;
• опыт работы с планировщиками задач - Airflow или аналоги;
• глубокое понимание архитектуры больших данных: принципы построения масштабируемых и отказоустойчивых систем;
• понимание архитектуры и опыт реализации ETL/ELT процессов;
• знание принципов моделирования данных (нормализация, денормализация);
• понимание методов оптимизации производительности кода и инфраструктуры;
• знание основ безопасности данных и управления доступом;
• высшее техническое образование.