Инженер данных
По договоренности
Каждый день наши автономные машины собирают терабайты данных, которые мы собираем и анализируем для улучшения и тестирования нашего ПО. Мы ищем человека, который поможет нам в этой задаче и будет заниматься разработкой пайплайнов обработки данных и добавлять в них новый функционал.
Вакансия подразумевает работу с большими объемами технических данных с использованием SQL, Dagster, Spark и polars/pandas где объемы данных позволяют.
Чем предстоит заниматься:
- Разработка пайплайнов обработки данных
- Формирование витрин с метриками
- Постановка на регламент алгоритмов расчета метрик функций беспилотного вождения
Что мы ждем от кандидата:
- Разработка на языке Python
- Хорошее знание SQL (на уровне джойнов и оконных функций)
- Был опыт обработки данных с использованием Python (Pandas/Polars)
- Знакомство со Spark и Airflow
Будет плюсом:
- Опыт работы с Clickhouse
-
Опыт работы с Airflow/Luidgi/Dagster
Адрес: Россия, Москва, проспект Андропова, 10А
Опубликована месяц назад
Похожие вакансии
Вакансии быстро закрываются - скачайте мобильное приложение в RuStore и откликайтесь первыми!
Скачать бесплатноМы ищем сильного дата инженера, который умеет не только работать с готовыми данными, но и самостоятельно ... Работа с большими объемами данных в Spark. Загрузка данных в КХД из Excel, API и различных БД. ... Проектирование структуры таблиц и архитектуры данных.
- Полный день
- Опыт от 3 лет
RWB (Wildberries & Russ)- Москва
3 дня назад
Мы в поиске "Инженера данных" Платформа А/Б - приложение для проведения пилотирования и тестирования ... потоков данных (Data Flow Diagram / Lineage) Проектирование и оптимизация моделей данных Проектирование ... в хранилищах Знание принципов организации загрузки источников данных и интеграции с хранилищем данных ...
- Полный день
- Опыт от 3 лет
VS Robotics (ООО АБТ)- Москва
3 дня назад
Сейчас мы усиливаем усиливаем продуктовую команду и ищем Ведущего инженера данных, который будет отвечать ... модели данных до подготовки данных для поиска и RAG). ... мониторинг: полнота, актуальность, precision/recall, latency и другие показатели Взаимодействовать с LLM-инженерами ...
- Полный день
- Опыт от 3 лет
ЦРТ | Группа компаний- Москва
4 дня назад
Наша команда превращает терабайты данных в понятные и полезные инсайты, которые используют аналитики ... хранилищ данных: Lambda-архитектура, Data Lake, Data Vault. ... Понимаете устройство и архитектуру реляционных баз данных Знаете основные алгоритмы и структуры данных ...
- Полный день
- Опыт от 3 лет
Яндекс- Москва
5 дней назад
Сейчас мы развиваем единый контур данных, который должен связать информацию из клиентских проектов, CRM ... Наша цель - перейти от разрозненных выгрузок и отчетов к надежной платформе данных для управленческих ... для сбора данных из CRM, баз данных, API, рекламных платформ, систем веб-аналитики и внешних файлов; ...
- Полный день
- Опыт от 3 лет
Гипер- Москва
5 дней назад
Создавать backend-сервисы на Python для обработки данных и интеграции с внешними системами. ... Участвовать в проектировании хранилищ данных и оптимизации существующих решений.
- Полный день
- Опыт от 3 лет
МАГНИТ, Розничная сеть- Москва
24 дня назад
Вакансия в подборках
Похожие вакансии
RWB (Wildberries & Russ)VS Robotics (ООО АБТ)ЦРТ | Группа компаний