Старший дата инженер
По договоренности
ЗОНА ОТВЕТСТВЕННОСТИ:
- Проектирование базовой архитектуры платформы данных: слои STG → DWH → Data Marts по методологии Data Vault.
- Построение отказоустойчивых конвейеров загрузки данных из внутренних систем (1С ERP, HR, финансы, производственные системы) и внешних источников.
- Настройка в Apache Airflow оркестрации синхронизации платформы с источниками данных.
- Выстраивание операционного взаимодействия с владельцами/поставщиками данных (схемы, интерфейсы, расписания, SLA).
- Обеспечение качества данных: профилирование, валидаторы, контроль полноты и дубликатов.
- Оптимизация производительности СУБД: PostgreSQL - партиционирование, индексы, анализ и тюнинг планов; при наличии ClickHouse — партиционирование, TTL, распределённые запросы.
- Организация доступа и безопасности: RBAC, аудит и анонимизация чувствительных данных.
- Разработка и поддержка REST API для внешних систем‑подписчиков.
- Выстраивание процессов CI/CD, мониторинг и журналирование, покрытие unit и integration тестами.
- Ведение системной документации.
- Не менее 5-ти лет опыта в роли Data Engineer / ETL Engineer / DWH Engineer.
- Продвинутый SQL: оконные функции, CTE, оптимизация планов, блокировки, хранимые функции, партиционирование.
- Не менее 3-х лет опыта разработки и поддержки хранилищ данных в PostgreSQL.
- Не менее 3-х лет опыта построения ETL/ELT‑конвейеров на Python и SQL.
- Не менее 3-х лет опыта разработки и эксплуатации сложных DAG’ов в Apache Airflow.
- Владение методологией Data Vault 2.0.
- Знание принципов Clean Code и практик code review.
- Опыт настройки и эксплуатации CI/CD для дата‑проектов.
- Практики Data Cleansing и Data Governance.
- Опыт юнит‑ и интеграционного тестирования дата‑пайплайнов.
- Опыт разработки и поддержки REST API;
- Свободное чтение технической документации на английском.
Преимуществом будет:
- Опыт 1+ год в ML: решение задач классификации на основании текста.
- Опыт 1+ год с ClickHouse: моделирование данных и оптимизация запросов.
- Опыт 1+ год с Elasticsearch: проектирования индексов, построение и оптимизация поисковых запросов по релевантности выдачи.
- Опыт интеграции система 1С (С:Бухгалтерия, 1С:УПП, 1С:ERP) 1+ год.
- Комфортное рабочее место в офисе класса "А" в 10 минутах от станций метро ЦСКА.
- Пятница сокращенный рабочий день до 16:45. Также доступен удаленный формат работы.
- Годовой бонус за результативную работу.
- Заботу о здоровье: страхование жизни и здоровья (ДМС).
- Корпоративные и благотворительные мероприятия, участие в отраслевых и мировых конкурсах (AtomSkills, Человек Года), программы признания.
- Профессиональное обучение в корпоративной академии, доступ к корпоративной библиотеке и обучающим платформам.
- Понятный карьерный трек с возможностью профессионального и карьерного роста, карьерные консультации.
- Спортивную жизнь: участие в корпоративных соревнованиях, ежегодная спартакиада, корпоративное приложение для спорта, а также наличие собственных корпоративных хоккейной и волейбольной команд, йога.
Опубликована 3 дня назад
Похожие вакансии
В нашей компании открыта вакансия на позицию Инженер-расчётчик / CAE-инженер. Если вы готовы решать интересные инженерные задачи, обладаете опытом в проведении расчётов и анализов, а также интересуетесь перспективными проектами в области машиностроен...
- Можно удаленно
- Полный день
- Опыт от 3 лет
- Москва
2 дня назад
80 000 - 150 000 ₽
Строительная компания “ПЕРВАЯ ЦИТАДЕЛЬ” – современная компания, специализирующаяся на выполнении внутренних инженерных коммуникаций в жилых, коммерческих, социальных и промышленных объектах. Сейчас мы в поисках инженера-сметчика. Обязанности: Составл...
- Можно удаленно
- Полный день
- Опыт от 3 лет
- Москва
15 часов назад
Юзтех – группа аккредитованных ИТ-компаний полного цикла разработки с многолетней экспертизой в передовых технологиях: DWH, BigData, AI/ML, Blockchain, BI, предиктивная аналитика, цифровые двойники производства и рисков. ГК Юзтех является технологиче...
- Можно удаленно
- Полный день
- Опыт от 3 лет
- Москва
15 часов назад
Наш клиент ищет опытного MLOps-инженера, который возьмет на себя развитие и поддержку ИИ-инфраструктуры. Важно найти человека, который понимает специфику работы с большими языковыми моделями (LLM), умеет оптимизировать инференс и выстраивать надежные...
- Можно удаленно
- Полный день
- Опыт от 3 лет
- Москва
15 часов назад
Чем предстоит заниматься: Поддержка и развитие инфраструктуры в среде с высокими нагрузками (24/7). Администрирование виртуализации (VMware, ESXi, vCenter) и bare metal серверов. Проектирование и эксплуатация CI/CD-процессов (GitLab CI / Jenkins). Уп...
- Можно удаленно
- Полный день
- Опыт от 3 лет
- Москва
15 часов назад
Обязанности: Решать типовые задачи, обрабатывать инциденты совместно с архитекторами/экспертами Осуществлять подготовку deplоyment-приложений для установки их в кластер Автоматизировать рутинные процессы Поддерживать пользователей и помогать им в вып...
- Можно удаленно
- Полный день
- Опыт от 3 лет
- Москва
15 часов назад
Вакансия в подборках
Похожие вакансии
80 000 - 150 000 ₽