Работа инженером данных в Москве

Основная цель – разработка витрин данных и дата продуктов (операционный блок). ... Наш стек: Базы данных: GreenPlum, ClickHouse; ETL: Airflow, Spark, PL/pgSQL; Объектное хранилище: HDFS ... данных, реализацию ETL для data - продуктов, а также обеспечение их эффективной работы.; Мониторинг ...

Проектировать и развивать data-платформу целиком: разрабатывать схемы хранения, выстраивать потоки данных ... между сервисами и определять границы ответственности компонентов; Обеспечивать устойчивую загрузку данных ... : проводить дедупликацию, проверку схем, поиск аномалий и отслеживать происхождение данных.

... и бесперебойной репликации данных из ИТ-систем Банка. ... Проверка качества кода (код-ревью), написанного инженерами и младшими инженерами данных. ... Способность разобраться с API поставщиков данных, используя доступную документацию.

Ищем специалиста, который умеет работать с неструктурированными данными и превращать их в точные целевые ... Обязанности работа с распределенными СУБД (MPP) и написание SQL-запросов передача данных в CRM и все ... , параллельной архитектуры, типов данных знание основ математической статистики, методов анализа данных ...

Мы в поиске талантливого и опытного дата-инженера, который готов присоединиться к нашей команде. ... Опыт загрузки данных из API, файлов или баз данных. Понимание принципов построения витрин данных. ... Свои сервера и инфраструктура — наши дата-инженеры живут в собственной, полностью оборудованной инфраструктуре ...

Обязанности: реализация в тандеме с архитектором физического уровня архитектуры данных в DWH для всех ... Требования: Опыт работы от 3х лет; базовые навыки в области инженерии данных; системное аналитическое ... ; опыт получения данных из различных типов API; опыт работы с потоковой обработкой данных; умение работать ...

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ: Поддерживать и развивать инфраструктуру Хранилища Данных Обеспечивать высокого ... , обновлять непромышленные сред ХД Настраивать CI/CD-пайплайны Внедрять механизмы контроля качества данных ... командами в рамках решения инцидентов ХД НАШИ ПОЖЕЛАНИЯ К КАНДИДАТУ: Хорошие знания в области обработки данных ...

... и внедрение: Разработка архитектуры СХД по SLA, внедрение SDS-решений (MinIO, vSAN, RBD) и миграция данных ... анализировать логи и дампы для проведения Root Cause Analysis (RCA) сбоев контроллеров и повреждения данных ...

Сбор и интеграция данных (ETL/ELT): Настройка пайплайнов загрузки данных из разнородных источников: Оркестрация ... Создание витрин данных и семантического слоя: Трансформация сырых данных в согласованные витрины для ... Моделирование данных: Понимание Data Vault, Star/Snowflake схем, построение витрин данных.

Мы занимаемся организацией жизненного цикла данных - от поставки в аналитическое хранилище до охлаждения ... Проектируем и реализуем архитектуру хранилища, развиваем процессы контроля качества и защиты данных. ... Являемся амбассадорами культуры работы с данными и хороших инженерных практик в целом.

Ищем профессионала в команду сопровождения системы хранения данных. ... (NetApp, Huawei, HPE) опыт работы с протоколами доступа к данным в части систем хранения данных (FC, ... Наша вакансия тебе подойдет, если ты ищешь: системный администратор СХД, система хранения данных, инженер ...

Каждый день наши автономные машины собирают терабайты данных, которые мы собираем и анализируем для улучшения ... ищем человека, который поможет нам в этой задаче и будет заниматься разработкой пайплайнов обработки данных ... и polars/pandas, где объемы данных позволяют.

... для PostgreSQL и ClickHouse Выполнение разовых Ad-Hoc запросов от бизнеса, быстрый поиск ответов в данных ... множество систем с собственными базами данных. ... Требования: Опыт работы в роли BI-разработчика / BI-инженера / Аналитика данных от 2 до 4 лет Продвинутое ...

... в PostgreSQL и Hadoop-экосистеме; Внедрение процессов контроля качества данных, настройка проверок полноты ... , согласованности и актуальности данных на всех этапах их трансформации; Участие в приёмке и доработке ... кандидата: Опыт разработки на Python (написание production-кода, работа с библиотеками для обработки данных ...

В дирекции по управлению данными открыта позиция аналитик данных/инженер по качеству данных. ... В нашей команде тебе предстоит: Сбор прототипов витрин данных; Разработка и оптимизация SQL-запросов ... для извлечения данных из различных источников; Анализ и интерпретация больших объемов данных для выявления ...

... стыке геодезии, лазерного сканирования и 3D-технологий, преобразуя большие объёмы пространственных данных ... Сейчас мы ищем специалиста по обработке данных лазерного сканирования, который будет участвовать в проектах ... по созданию и подготовке пространственных данных для последующего моделирования городской застройки, ...

Обязанности: Исследовать и прототипировать новые методы контроля качества данных на наших данных. • Проектировать ... ML- и статистические контроли для выявления аномалий, дрейфа распределений, деградации свежести данных ... проверок до ML-моделей. • Валидировать контроли без готовой разметки: проверять их на исторических данных ...

Ключевые задачи: Разработка детального слоя и слоя витрин данных Разработка процедур наполнения витрин ... данных Создание оптимальных решений по преобразованию, расчёту и хранению данных Оказание экспертной ...

Планирование и оптимизация ресурсов кластеров, выявление и устранение «узких мест» Взаимодействие с командами инженеров ... данных, инфраструктуры и других для согласования требований к инфраструктуре, SLA и поддержки Расследование ... в критических системах Опыт работы с форматами хранения данных Parquet, Iceberg Понимание архитектуры ...

Мы в поисках Инженера ЦОД Задачи должности: 1.

... типоразмерами элементов модели/ВОР и позициями сметно-нормативной базы ТСН; Перевод текстовых и табличных данных ...

Вместе мы решаем комплексные задачи государства, бизнеса и регионов с помощью аналитики больших данных ... наши продукты • 2,5 тыс. клиентов крупного бизнеса и госсектора Наши технологии (аналитика больших данных ... Проектировать, разрабатывать и поддерживать инфраструктуру данных, включая базы данных, ETL-процессы ...

Мы ищем в нашу команду инженера данных. ... Чем предстоит заниматься Реализация и наполнение витрин данных (ClickHouse, PotgresSQL) Разработка batch ... и streaming потоков данных с использованием AirFlow, Dagster и Apache Kafka Проработка требований и ...

... в реальном времени, а также хранение и управление большими объемами данных в ЦОД, публичных и частных ... Мы находимся в поиске Инженера по продукту СХД готового присоединиться к нашей динамичной команде, специализирующейся ... в области разработки, тестирования и поддержки систем хранения данных.

Сейчас мы находимся в поиске Инженера данных в одно из наших подразделений – Центр обработки и автоматизации ... В качестве Инженера данных вы будете отвечать за разработку и поддержку систем хранения данных, оптимизацию ... Требования: Опыт работы инженером данных от 2 лет; Уверенное владение Python и опыт работы с библиотеками ...