Lead Engineer / Архитектор платформы web-scraping

Компания международный провайдер proxy- и data-инфраструктуры. Мы создаём собственную высоконагруженную платформу для web-scraping: API, к которому можно передать любой URL, а на выходе получить чистый HTML или структурированный JSON, без забот о прокси, капчах и анти-ботах.

Платформа будет поддерживать как облачную модель, так и развёртывание в инфраструктуре клиента (on-prem, Kubernetes).

Задачи

• Проектирование архитектуры
  – Data-plane: высокопараллельный краулер, управление сессиями, анти-бот-обход, CAPTCHA-солвер
  – Control-plane: API, авторизация, биллинг, квотирование, мониторинг
  – Инфраструктура: микросервисы, Docker/K8s, CI/CD, observability

• Лидерство в разработке
  – Формирование команды: участие в найме backend-, browser-, DevOps- и QA-инженеров
  – Выстраивание процессов разработки и релизов
  – Контроль качества кода и технических решений

• Исследование и обход анти-ботов
  – Фингерпринтинг браузеров и сетевых уровней (JA3, TLS, CDP)
  – Обход защит: Cloudflare, Akamai, Qrator, ServicePipe, Variti и др.

• DevOps / SRE
  – Настройка CI/CD, Helm-чартов, масштабирования
  – Организация мониторинга (Prometheus, Grafana, Loki) и SLA-процессов

Требования

• 5+ лет инженерного опыта в высоконагруженных backend-/data-платформах

• Отличное понимание HTTP, TLS, HTTP/2, прокси, браузерного стека (CDP, WebRTC)

• Опыт с async Python или Go (в идеале оба), Redis, очередями, брокерами

• Продвинутый уровень DevOps-инструментов: Kubernetes, Helm, Prometheus, CI/CD

• Опыт анализа и обхода систем защиты от ботов — большой плюс

• Английский язык — уверенный (вся документация и часть команды англоязычные)

• Умение принимать решения, менторить и брать ответственность за результат

Условия

• Участие в разработке ключевого продукта компании с нуля

• Высокая автономия и влияние на архитектуру и команду

• Бюджет на конференции, курсы, рабочие инструменты

Как податься

Делайте отклик с темой «Lead Scraper Platform». Укажите:

Пример проекта, где вы вели разработку или архитектуру сложной backend-/data-системы

Пример сложной задачи обхода анти-бота или фингерпринтинга (если можете)

Ссылку на GitHub, LinkedIn и/или PDF-CV