Data Engineer / Разработчик Python

Мы разработали Платформу, которая собирает и обрабатываем с помощью Искусственного интеллекта и машинного обучения информацию с 5 млн. РФ сайтов, 6 млн. вакансий и более чем 160 открытых источников. Затем она строит граф знаний и векторные базы, чтобы предоставлять инструменты для скоринга, анализа судебной практики и лидогенерации.

Наше ПО каждый день обрабатывает терабайты данных из различных источников и доносит до клиентов в удобном виде; предоставляет аналитику, рекомендации и прогнозы

Мы ищем крутого Data-инженера/разработчика, который будет строить эффективные пайплайны обработки данных.

Тестовое задание в виде совместного вайб-кодинга :)

Чем придется заниматься:

• Разработка и поддержка Web crawlers
• ETL процессы
• Оптимизация и поддержка существующих воркеров

Стек:

• Python
• C#
• MSSQL, Postgres, Elasticsearch, neo4j
• Kafka, RabbitMQ
• ELK, Prometheus, Grafana, Gitlab

Основные требования:

• опыт в разработке ETL
• хорошая база Computer Science
• C# - как дополнительный плюс к вашей кандидатуре
• TDD
• опыт в построении метрик и мониторинга
• работа в офисе, без удаленки

Что мы даем:

• официальное трудоустройство в аккредитованной IT компании(отсрочка и ипотека)
• варианты дальнейшего роста
• ИНТЕРЕСНЕЙШИЕ ЗАДАЧИ. Мы обрабатываем терабайты информации, и иногда приходится искать интересные решения
• официальное трудоустройство;