Инженер данных (Data engineer)
По договоренности
- Площадь Ленина
- Чернышевская
- Площадь Восстания
ГК "ИнфоТеКС", входящая в ТОП-5 компаний России в сфере защиты информации, лидер в разработке средств защиты информации, приглашает Инженера данных
Обязанности:
- Наладить потоковую или batch-поставку данных, организовать оркестрацию задач (например, Airflow).
- Настраивать автоматический сбор данных из разных источников (базы данных, API, файлы, очереди сообщений).
- Развивать и оптимизировать текущую архитектуру хранения: организовывать долгосрочное хранение данных (Data Lake / Parquet), обеспечивать интеграцию между источниками и аналитическими БД.
- Поднимать и поддерживать тестовые стенды для отработки сценариев сбора данных (Docker Compose, генераторы тестовых данных).
- Разработка бенчмарков для оценки функциональных и нефункциональных характеристик решений.
- Опыт разработки на Python и уверенное владение SQL.
- Уверенное владение командной строкой Linux.
- Опыт работы с источниками данных: реляционные БД (PostgreSQL), аналитические БД (ClickHouse) и файловые системы/объектные хранилища (FTP/NFS/S3).
- Навыки контейнеризации (Docker/LXD) и умение поднимать локальные стенды для тестирования своих пайплайнов.
- Опыт написания ETL-скриптов на Python (включая библиотеки pandas, polars или PyArrow) для трансформации и перемещения данных между источниками.
- Умение писать простые бенчмарки (замерять время, память, CPU).
Условия:
-
работа в офисе;
-
полное соблюдение трудового законодательства РФ, оплачиваемые отпуска и больничные листы, "белая" заработная плата;
-
оплачиваемое работодателем питание в офисе или кафе;
-
ДМС (добровольное медицинское страхование), страховка от несчастных случаев;
-
корпоративные мероприятия и спортивные инициативы;
-
возможность получения профессиональных сертификатов и прохождения курсов повышения квалификации за счёт компании.
Адрес: Россия, Санкт-Петербург, Артиллерийская улица, 1
Опубликована месяц назад
Похожие вакансии
Вакансии быстро закрываются - скачайте мобильное приложение в RuStore и откликайтесь первыми!
Скачать бесплатноТребования высокий уровень владения Python и SQL, опыт разработки высоконагруженных data‑систем и сервисов ... архитектуры распределённых систем, потоковой обработки, репликации и консистентности данных опыт построения data ...
- Полный день
- Опыт от 3 лет
- Санкт-Петербург
5 дней назад
Хранилище: Проектирование архитектуры слоев в Greenplum (Data Warehouse). ... Требования: Уверенный Data Engineer (от 3 лет), который не боится работать full-stack: от извлечения ...
- Полный день
- Опыт от 3 лет
- Санкт-Петербург
17 дней назад
Мы – компания BI Consult. 16 лет в Data - сфере (интеграция BI-систем, построение DWH) и собственные ... Требования: Практика моделирования (Кимбалл, Инмон, Data Vault/Anchor). ... Широкий взгляд на Data-экосистему и интерес к новым технологиям - умеете быстро вникать и предлагать ...
- Полный день
- Опыт от 3 лет
- Санкт-Петербург
2 месяца назад
Мы ищем ML-инженера / Data Scientist, который сможет спроектировать и оптимизировать алгоритмы классификации ...
- Полный день
- Опыт от 3 лет
- Санкт-Петербург
20 дней назад
ОДИН ИЗ ЛУЧШИХ РАБОТОДАТЕЛЕЙ РОССИИ Мы – Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения. Приветствуем на странице нашей компании и бла...
- Полный день
- Опыт от 3 лет
- Санкт-Петербург
2 месяца назад