Senior Backend-разработчик для высоконагруженного сервиса

Описание проекта и обязанности

Мы небольшая амбициозная команда внутри крупной международной компании одного из лидеров в сфере информационной безопасности. Мы создаем инновационное решение в сфере Business Intelligence с использованием алгоритмов машинного обучения для обогащения информации.

Ваша цель — помочь нам улучшить возможность обработки большого данных из открытых источников, их агрегирования и предоставления нужной аналитики.

Для этого придется работать над следующими задачами:

• Разработка и реализации API для высоконагруженного сервиса по обработке и предоставлении данных
• Развертывание и настройка ETL пайплайна для обработки данных с использованием десятков машин
• Развитие и поддержка backend для веб-сервиса, с которым работают конечные пользователи
• Интеграция с внешними сервисами
• Оптимизация текущего решения (рефакторинг кода, оптимизация запросов к БД и т.д.)

Мы предлагаем возможность поучаствовать в создании и настройке сервиса на уровне baremetal из нескольких десятков серверов в нескольких VLAN, заложить основы архитектуры решения, которое должно будет масштабироваться под возрастающие потоки разнородных данных. Есть возможность для экспериментирования и выбора инструментов – всё зависит от вашего опыта и возможностей. Если вам интересно помочь построить нам такое решение, то мы ждем Вас!

Требования:​​​​​

Обязательные:

• Опыт коммерческой разработки на Python / Go от 4+ лет
• Опыт разработки на Django, Flask или FastAPI, пониманием веб-разработки со стороны frontend
• Уверенное знание Linux, Docker и Git
• Знание работы веб-серверов (nginx, openresty, apache), настройка и оптимизация
• Работа с системами полнотекстового поиска (ElasticSearch/OpenSearch)

• Опыт работы с релиционными БД, предпочтительно – PostgreSQL (настройка, партиционирование, миграция), ORM (Django ORM, SQLAlchemy, TortoiseORM), а также с нереляционными БД (MongoDB, Redis, Clickhouse)

• Работа с RabbitMQ, Kafka, Celery, настройка асинхронных задач
• Знание ETL процессов (Airflow)
• CI/CD (GitLab CI/CD, Jenkins)

Будет плюсом:

• Работа с сервисами российских облачных провайдеров (Yandex, Selectel, МТС)
• Написание unit- и интеграционных тестов (pytest).
• Базовые знания безопасности и безопасной разработки (OWASP Top 10)
• Мониторинг и логирование – Zabbix, Prometheus, Grafana, ELK Stack