Data Engineer

Компания «Ай-Теко» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.

В связи с активным развитием проектов в компании открыта вакансия DATA ENGINEER в офис в Москве.

От кандидата ожидаем:

• Опыт работы со всеми указанными инструментами по направлению Hadoop: HDFS, MapReduce, Yarn, Hadoop Common, Apache Tez, Apache Hive и/или Spark SQL, Apache Kafka;
• Опыт работы с реляционными БД (Oracle DB и/или PostgreSQL (предпочтительно) и/или MySQL) и понимание общих концепций работы РСУБД (нормальные формы, SCD, звезды/снежинки);
• Глубокие знания SQL и опыт оптимизации производительности SQL запросов (в т.ч. оконные функции, pivot, анализ плана запросов, понимание работы индексов, хинты, дистрибуция, full scan);
• Понимание концепций проектирование DWH (кимбалл/имнон, dv/anchor, лямбда/каппа);
• Опыт разработки на Python;
• Опыт разработки ETL, ELT;
• Опыт участия в оптимизации процессов сбора, первичная обработка и хранение большого объема данных из различных типов источников;
• Опыт интеграции инфраструктурных компонент c сторонними системами;
• Опыт оптимизации моделей хранения данных;
• Опыт в управлении командой разработчиков (не менее 3 (трех) человек);
• Опыт командной разработки с использованием программных продуктов Confluence и Jira;
• Опыт работы, как в каскадных (waterfall), так и в гибких методологиях (Agile и/или DevOps и/или Scrum) разработки.

О проекте:

Команда Support AI департамента безопасности (ДБ) централизованно занимается вопросами разработки моделей машинного обучения и инфраструктурными проектами департамента, в т.ч. обеспечением поставки данных в продукты ДБ, обменом данными между продуктами, а также вопросами, связанными с поставкой и обработкой данных для моделей. В команду нашего подразделения требуются специалисты для различных проектов, связанных с данными.

Задачи:

• Разработка пайплайнов для обработки данных;
• Создание витрин, маппингов для данных;
• Обследование и профилирование банковских источников данных, исследование моделей данных источников;
• Валидация и проверка качества данных, поиск проблем в данных;
• Участие в создании архитектуры;
• Участие во встречах со своей и смежными командами. Обсуждение и предложение способов реализации текущих проектов.

МЫ ПРЕДЛАГАЕМ:

• Работу в стабильной компании, "белую" заработную плату;
• Оформление в соответствии с ТК РФ с первого дня работы;
• Расширенный социальный пакет: ДМС (включая стоматологию), корпоративные скидки на посещение фитнес-клубов, футбольная и волейбольная секции;
• Профессиональное обучение и развитие;
• Яркая и насыщенная корпоративная жизнь;

• Снабжаем всей необходимой современной техникой.