Data Engineer (Корпоративное хранилище данных)
300 000 - 400 000 ₽
Выше средней на 26%
- Аэропорт
- Динамо
- Белорусская
Обязанности:
- Разработка, запуск и поддержка ETL/ELT-пайплайнов с использованием Apache Airflow: загрузка данных из источников (АБС, CRM) в Staging Area (PostgreSQL) и их последующая трансформация в ODS, DDS и витрины данных (Data Marts);
- Моделирование, оптимизация и трансформация данных в PostgreSQL:
Проектирование и поддержка структур данных в слоях ODS, DDS и витрин (Data Mart).
Реализация бизнес-логики трансформации данных, в том числе с использованием dbt (Data Build Tool).
Оптимизация производительности: работа с индексами, партиционированием, анализом планов запросов;
- Обеспечение надёжности, качества и безопасности данных в КХД:
Настройка мониторинга пайплайнов и инфраструктуры (Grafana, Prometheus), реализация процедур восстановления.
Внедрение процессов валидации и контроля качества данных на всех этапах ETL/ELT.
- Реализация требований безопасности: настройка Row Level Security (RLS), интеграция с Active Directory, обеспечение аудита доступа к данным.
- Образование высшее или среднее специальное
- Навык работы Excel, SQL
- Коммерческий опыт работы Data Engineer / ETL-разработчиком от 5-х лет.
- Глубокое знание SQL и опыт работы с PostgreSQL в production-среде (понимание индексов, партиционирования, транзакций, репликации).
- Оркестрация: Практический опыт разработки и поддержки пайплайнов в Apache Airflow (написание DAG, использование сенсоров, операторов, создание кастомных плагинов).
- Язык программирования: Уверенное владение Python для разработки ETL-задач, скриптов и работы с API.
- Моделирование данных: Понимание принципов построения хранилищ данных (DWH), классических подходов к моделированию (снежинка, звезда). Опыт проектирования и поддержки схем ODS, DDS, Data Mart.
-
Желательные (Будут большим плюсом):
- Понимание принципов контейнеризации (Docker) и оркестрации (Kubernetes).
- Опыт настройки мониторинга (Prometheus, Grafana).
- Понимание подходов к безопасности в БД (аутентификация, авторизация, Row Level Security, маскирование данных). Опыт интеграции с Active Directory.
- Опыт работы в банковской/финансовой сфере, понимание специфики банковских данных
-
Личные качества (Soft Skills):
-
Умение находить баланс между «идеальным архитектурным решением» и «прагматичной реализацией в срок в условиях ограниченных ресурсов». Понимание бизнес-целей проекта.
- Способность видеть взаимосвязи компонентов всей системы (от источников до витрин), предвидеть последствия изменений.
- Умение чётко доносить свои решения, аргументировать выбор технологий, документировать процессы. Готовность работать в тесной связке с архитектором, аналитиками.
- Соблюдение ТК РФ
- Возможность профессионального и карьерного развития
- Медицинская страховка
Сравнение со средней зарплатой в похожих вакансиях:
220 тыс. ₽
260 тыс. ₽
290 тыс. ₽
333 тыс. ₽
373 тыс. ₽
Адрес: Россия, Москва, Хорошёвское шоссе, 32А
Опубликована 13 часов назад
Похожие вакансии
Приглашаем в стратегический проект импортозамещения и рефакторинга большинства банковских систем. В рамках проекта происходит отказ от Oracle и перерабатываются системы процессинга и учета большинства банковских продуктов (кредиты, карты, рассрочки, ...
- Полный день
- Опыт от 3 лет
Т-Банк- Москва
4 дня назад
ПК «Аквариус» – ведущий российский разработчик, производитель и поставщик компьютерной техники и ИТ-решений для государственных и корпоративных заказчиков. В 2021 «Аквариус» стал 4-м в рейтинге CNews Analytics среди крупнейших российских IT-разработч...
- Полный день
- Опыт от 3 лет
Аквариус, Группа компаний- Москва
5 дней назад
КОМПАНИЯ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-к...
- Полный день
- Опыт от 3 лет
ИЦ АЙ-ТЕКО- Москва
6 дней назад
Мы строим DataPlatfrom и AI-инфраструктуру, в которой инженеры, аналитики и разработчики смогут использовать современные подходы Retrieval-Augmented Generation (RAG) без боли и ручных костылей. Наша цель — сделать RAG таким же привычным компонентом п...
- Полный день
- Опыт от 3 лет
Т-Банк- Москва
2 дня назад
Наша команда занимается генеративной аналитикой и исследованиями того, как лучше решать существующие задачи с помощью RAG. Вы будете: заниматься поиском и внедрением передовых подходов к работе с данными с использованием ИИ. Исследовать, как применен...
- Полный день
- Опыт от 3 лет
СБЕР- Москва
6 дней назад