Data Engineer

По договоренности


Ищем в команду Data Engineer на проект по построении. Платформы данных.

Цель:
Развитие экосистемы сбора, обработки, трансформации и визуализации данных.

Ключевые задачи:

  • Разработка и интеграция: Создание и внедрение новых пайплайнов данных.

  • Расширение возможностей: Подключение новых источников и доработка функционала информационной системы «Платформа данных».

  • Конфигурирование: Настройка и оптимизация существующих процессов ETL

Чем предстоит заниматься:

  • разработкой, конфигурированием и интеграцией новых пайплайнов, источников и возможностей ИС «Платформы данных».

Чего мы ждем от тебя:

  • опыт работы с Airflow, kafka, PySpark, Базы данных, Git;
  • очень желательно - Debezium, PixBI/PowerBI/Superset, dbt/sqlmesh, dagster.

Поделиться:

Опубликована 22 дня назад

Похожие вакансии

Твои задачи: Загружать через Spark расчеты xbrl (чтение скриптом mssql) и преобразовывать это в загрузку в Postgres Разрабатывать/дорабатывать структуру хранения данных Реализовывать разработки согласно поставленным требованиям Писать код на mssql, S...
  • Можно удаленно
  • Полный день
  • Опыт от 1 года
Логотип компании Лига Цифровой ЭкономикиЛига Цифровой Экономики
  • Москва
17 часов назад
... оптимизация алгоритмов для работы на больших объемах данных; Глубокое знание SQL (Postgres, Clickhouse), Big Data ...
  • Можно удаленно
  • Полный день
  • Опыт от 1 года
Логотип компании RDP.RURDP.RU
  • Москва
3 дня назад
... оркестрацией потоков: Apache Kafka Connect, подключение источников/стоков к Kafka Debezium, change-data-capture ...
  • Можно удаленно
  • Полный день
  • Опыт от 1 года
Логотип компании Правительство МосквыПравительство Москвы
  • Москва
2 дня назад
В нашу DREAM TEAM для реализации амбициозных планов по развитию требуется Data Engineer / Аналитик данных ... аналитическими БД (ClickHouse / PostgreSQL / BigQuery и др.); Понимание принципов ETL и построения data ...
  • Можно удаленно
  • Полный день
  • Опыт от 1 года
Логотип компании Prime SportPrime Sport
  • Москва
5 дней назад
Мы ждём как абсолютно готового Data QA специалиста, так и человека, который готов разобраться вместе ...
  • Можно удаленно
  • Полный день
  • Опыт от 1 года
Логотип компании MarfatechMarfatech
  • Москва
5 дней назад
170 000 - 250 000 ₽
Выше средней на 61%
... данных из веба Опыт настройки и использования прокси-инфраструктуры Понимание, как строить надежные data ... lake / data warehouse слоев Опыт работы с PostgreSQL, ClickHouse, Redis, объектным хранилищем типа S3 ... построения распределенных систем сбора данных Что за профиль мы ищем Это не узкая вакансия только под data ...
  • Можно удаленно
  • Полный день
  • Опыт от 1 года
Логотип компании itBoatitBoat
  • Москва
15 дней назад
Мы обрабатываем данные посетителей и используем куки в соответствии с политикой конфиденциальности.