Data Engineer

Мы строим технологичную финтех-компанию ИТ Контакт: с 2019 года мы создаем современные цифровые платформы, которые позволяют упростить процессы, снизить затраты и повысить безопасность сделок, связанных с приобретением жилья.

Благодаря нашей работе множество людей по всему миру смогли воплотить в жизнь мечту о собственном доме. Нас уже более 700 человек, и, в связи с активным ростом компании, мы находимся в поисках Data Engineer в нашу команду.

Технологии: SQL, Python, Pandas, SQLAlchemy, Requests, MS SQL Server, Apache Airflow, Git, CI/CD, REST API, SFTP, Jira, Confluence, GitHub Copilot​​​​​​​

Требования к кандидату:

• Отличное владение SQL и практический опыт работы с MS SQL Server.
• Практический опыт работы с Apache Airflow или другим инструментом оркестрации и готовность быстро углубиться в Airflow.
• Уверенное владение Python для задач обработки и интеграции данных, включая Pandas, SQLAlchemy и Requests.
• Хорошее понимание архитектуры DWH, принципов организации слоев хранения данных и построения Data Mart.
• Опыт разработки, сопровождения и рефакторинга ETL/ELT-процессов.
• Опыт интеграции данных из различных источников: SQL-баз, API, файлов и SFTP.
• Навыки оптимизации SQL-запросов и понимание принципов эффективной работы с базами данных.

Будет плюсом:

• Опыт переноса ETL-процессов, SQL Jobs или Python-скриптов в Airflow.
• Опыт работы с Git и понимание принципов version control.
• Понимание CI/CD применительно к data pipelines.
• Опыт работы с Jira и Confluence.
• Опыт использования LLM-инструментов, например GitHub Copilot, в процессе разработки.
• Опыт подготовки данных для аналитических систем или Power BI.
• Базовые навыки работы в Linux.

Чем вы будете заниматься:

• Рефакторить существующие ETL-процессы и структуру базы данных, содержащей данные из Jira и Bitbucket.
• Разрабатывать и сопровождать ETL/ELT-пайплайны.
• Переносить ETL-процессы и трансформации из SQL Server Jobs в Apache Airflow.
• Переносить существующие Python-скрипты в управляемые пайплайны Apache Airflow.
• Настраивать интеграции с различными источниками данных, включая базы данных, API, файлы и SFTP.
• Оптимизировать SQL-запросы и повышать производительность процессов обработки данных.
• Участвовать в развитии DWH и создании слоя Data Mart.
• Подготавливать данные для аналитических задач и внутренних заказчиков.

Что мы предлагаем?

• Аккредитованная IT-компания
• Комфортный офис в центре Санкт-Петербурга
• Предсказуемый график работы 5/2
• Мультикультурная амбициозная команда
• Общение на иностранных языках с коллегами и клиентами
• Внутреннее комьюнити для сотрудников: кафетерий льгот, сообщества по интересам, спортивные турниры, благотворительные программы и т.д.