Python Developer (Big Data)

КОМПАНИЯ «АЙ-ТЕКО» — ведущий российский системный интегратор (аутстаффинг IT-специалистов) и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России. Мы аккредитованы в Минцифры.

Формат работы: гибрид в Москве (Кутузовский проспект, 32)

О проекте

Проект в крупном банке.

Cluster Discovery — технический справочник для администраторов платформы УСКАП, который автоматически обновляется. Проект входит в направление «Аналитические инструменты надежности DataOps». Его задача — автоматизировать сбор и предоставление информации о кластерах больших данных (Hadoop, GreenPlum): их конфигурации, загрузке, очередях, пользователях и физическом расположении оборудования в ЦОД.

Команда разрабатывает систему, которая собирает данные из разных источников (логи СФД, fsimage, Service Manager, SDP Control), проверяет состояние кластеров и показывает результаты в виде дашбордов и отчётов.

Задачи

• Разработка и поддержка сервисов сбора и обработки данных о состоянии кластеров Hadoop/GreenPlum (метаданные, fsimage, логи).

• Интеграция с внутренними системами: Service Manager, SDP Control, СФД, Kafka (тракты данных).

• Реализация механизмов автоматического запуска проверок по триггерам (например, при изменении статуса в SDP Control).

• Оптимизация производительности обработки больших объёмов данных (логи, метрики, очереди Yarn, утилизация HDFS).

• Построение и доработка дашбордов (аналитика, визуализация трендов).

• Разработка ETL-процессов для наполнения отчётной БД.

Ожидания от кандидата

Общие требования

• Высшее образование.

• Опыт коммерческой разработки от 4 лет.

• Опыт работы с Linux и Bash.

• Готовность к гибриду (офис на Кутузовском проспекте).

Технические требования

• Python 3.9+ (уверенное знание языка, типизация, асинхронность).

• SQL (сложные запросы, агрегации, работа с большими таблицами).

• Опыт обработки и парсинга больших объёмов данных (логи, fsimage, метрики).

• Работа с форматами данных: JSON, Avro, Parquet, CSV.

• Умение проектировать ETL-процессы.

Базы данных

• Опыт работы с реляционными БД (PostgreSQL / GreenPlum).

• Понимание устройства отчётных БД (OLAP-нагрузки).

• Опыт работы с Redis.

Интеграции и инструменты

• Опыт работы с Kafka (или другими брокерами сообщений) для работы с трактами данных.

• Опыт написания интеграций через REST API.

• Системы контроля версий: Git (GitLab).

Навыки и компетенции

• Умение проектировать архитектуру модулей сбора и обработки данных.

• Понимание принципов работы распределённых систем (Hadoop / GreenPlum будет плюсом).

• Опыт оптимизации запросов и обработки данных для сокращения времени выполнения.

• Умение работать с большими объёмами информации (Big Data).

Мы предлагаем

• Работу в стабильной, надежной компании;

• Полностью «белую» заработную плату и оформление по ТК РФ с первого рабочего дня;

• Расширенный социальный пакет:

  • ДМС (включая стоматологию),

  • Корпоративные скидки на фитнес,

  • Внутренние спортивные секции (футбол, волейбол);

• Возможности для профессионального развития: обучение, внутренние и внешние курсы;

• Активную корпоративную культуру: мероприятия, клубы по интересам и многое другое;

• Современную технику: мощный ноутбук выдается в первый рабочий день — ничего не нужно ждать;

• Формат работы: гибрид в Москве (Кутузовский проспект, 32).

Будем рады сотрудничеству!