Data Engineer

Сегодня Билайн — компания изменений, чутко реагирующая на потребности рынка и людей. А ещё Билайн — это команда, объединённая общими ценностями и общей целью — быть лидером телеком и digital рынков, предоставляя нашим клиентам новейшие продукты и услуги, а также сервис самого высокого уровня.

Сейчас у вас есть возможность присоединиться к лучшей команде в роли Data Engineer! Наша команда – это команда клиентского опыта. Мы по разным направлениям проводим аналитику метрик качества клиентского сервиса, находим проблемы и контролируем их устранение.

Итак, вам предстоит:

• Проектирование, разработка и поддержка ETL/ELT-пайплайнов.
• Интеграция с различными источниками данных (API, базы данных, файлы, очереди).
• Оптимизация процессов обработки больших данных (10ТБ+).
• Работа с распределёнными системами хранения и вычислений (Hadoop, Spark).
• Настройка оркестрации и мониторинга пайплайнов в Airflow.
• Поддержка и развитие хранилища (ClickHouse, HDFS, Postgresql)
• Подготовка витрин данных для аналитиков и ML-команды.
• Документация пайплайнов, best practices в команде.
• Разработка инструментов для интеграции LLM в продукты (API, библиотеки и пр.)
• Разработки агентов и агентных систем
• Разработка баз знаний для RAG
• Fine-tuning/адаптация LLM для специфичных задач/домен (PeFT, SFT).

Мы будем рады рассмотреть вашу кандидатуру, если у вас есть:

• Опыт работы Data Engineer от 2 лет.
• Опыт коммерческой разработки на Python (3.6+).
• Опыт работы с PySpark и экосистемой Hadoop (HDFS, Yarn).
• Понимание принципов работы распределённых вычислений и оптимизации Spark-джоб.
• Практический опыт работы с Airflow (DAG’и, сенсоры, операторы, оптимизация).
• Знания основ Machine Learning / Deep Learning
• Глубокое понимание архитектуры Transformer.
• Умение работать с большими объёмами данных (10ТБ+).
• Знание SQL (в т.ч. оптимизации сложных запросов)
• Опыт работы с системами контроля версий (у нас Git + Gitlab).

Будет плюсом:

• Опыт CI/CD (у нас GitLab CI).
• Знания в области Data Modeling (звёздная/снежинка, нормализация).
• Навыки работы с JupyterHub, подготовка data notebooks.
• Знакомство с ML-пайплайнами и особенностями подготовки данных для моделей.
• Практический опыт fine-tuning языковых моделей (GPT-like, BERT-like и др.)
• Если работали с потоковой обработкой данных.
• Знакомы с инструментом NiFi.

Наш стек:

• Scala / Python
• Hadoop (hdfs, hive)
• Doris, ClickHouse
• Apache Spark
• Airflow

Что мы предлагаем:

• Трудоустройство в аккредитованную ИТ-компанию.
• Сплоченную команду профессионалов, в которой можно не только успешно реализовывать проекты, но и перенимать опыт и развиваться.
• Обучение, участие в интересных проектах и расширение профессиональной экспертизы: мы участвуем в конференциях, митапах, публикуемся на Хабр и т.д.
• Конструктивную и открытую рабочую атмосферу.
• Полис добровольного медицинского страхования, обслуживаемый в лучших клиниках, а также чек-ап для сотрудников 40+.
• Страхование жизни, страхование от несчастных случаев и критических заболеваний, страхование выезжающих за рубеж.
• Материальную помощь.
• Детские подарки.
• Доплату по листу нетрудоспособности.
• Корпоративные скидки на товары и услуги от партнеров компании.
• Служебную сотовую связь.
• Кафетерий льгот — возможность самостоятельно выбрать дополнительные корпоративные льготы и бонусы (спорт, здоровье, обучение, путешествия, транспорт и др.). Доступно после испытательного срока.