Data Engeneer (Senior)

Основные требования к специалисту Data Engeneer (Senior):

• Уверенное владение языками программирования Python, SQL, PowerShell, CMD;
• Разработка программ и скриптов для сбора данных из различных источников (БД, SQL, TXT, XLS, 1С) с последующей записью их в БД (PostgreSQL, MSSQL);
• Практический опыт создания витрин данных: Агрегация, систематизация, консолидация данных в БД PostgreSQL, MSSQL;
• Умение разрабатывать и оптимизировать запросы к базам данных с более 10 млн. строк, в т.ч. умение работать с большими массивами данных (Big Data);
• Анализ данных (Big Data): SQL, BI (Metabase), Pandas, NumPy, Matplotlib и другие;
• Знание особенностей реализации различных алгоритмов и структур данных (Big Data), особенностей разработки клиент-серверных приложений, работы файловых систем;
• Практический опыт в разработке скриптов для сбора данных и формированию витрин данных (Big Data) от 3-х лет;

Основные рабочие обязанности:

• Разработка скриптов для сбора данных из различных источников (БД, SQL, TXT, XLS, 1С) с последующей записью их в БД (PostgreSQL, MSSQL);
• Создание витрин данных: Агрегация, систематизация, консолидация данных в БД PostgreSQL, MSSQL;
• Анализ данных (Big Data): SQL, BI (Metabase), Pandas, NumPy, Matplotlib и другие;
• Создание скриптов (вьюх, заданий) для автоматического формирования отчетов в БД PostgreSQL, MSSQL;
• Визуализация данных Kafka, Grafana;

Будет преимуществом:

• Знание внутренней структуры БД 1С, (не платформы и конфигураций, а именно структуру хранения данных 1С в БД MSSQL ) бд, таблиц, поля, связи, индексы, составляющие регистров 1С;
• Практический опыт работы с "сырыми" данными 1С: копирование, объединение и перенос в другую БД (PostgreSQL, MSSQL) для дальнейшего анализа данных и формирования витрин данных;

ЗП определяется по итогам собеседования.