Senior LLM Engineer / AI Agent Optimization Lead (Conversational AI, Sales Automation)

Мы развиваем AI-агента для автоматизации коммуникации в продажах (сфера недвижимости).

Агент уже работает в продакшене, общается с реальными пользователями и генерирует встречи.

Сейчас нам нужен человек, который полностью возьмёт на себя LLM-направление и подготовит продукт к масштабированию до 1 000+ клиентов.

Это ключевая роль в продукте.

Зона ответственности

1. Владение поведением AI-агента

• Проектирование и оптимизация системных промптов.
• Разработка few-shot и негативных примеров.
• Внедрение guardrails (запреты, анти-галлюцинации, fallback-логика).
• Контроль длины диалога (length fuse, forced CTA).
• Работа с логикой назначения встреч.

2. Повышение конверсии

• Анализ реальных диалогов.
• Поиск точек потери конверсии.
• A/B тестирование версий промптов.
• Оптимизация перехода к назначению встречи.

3. Метрики и контроль качества

• Проектирование системы метрик:
• % предложений встречи
• % согласованных встреч
• % нарушений правил
• средняя глубина диалога
• drop-off этапы
• Внедрение логирования и evaluation.
• Настройка smoke/regression-тестирования.
• Версионирование промптов и контроль изменений.

4. Подготовка к масштабированию

• Повышение стабильности поведения агента.
• Минимизация неожиданных сценариев.
• Формирование стандартов работы с LLM внутри команды.

Что для нас важно

• Опыт работы с LLM в production.
• Понимание, как управлять поведением модели (не только писать промпты).
• Опыт построения evaluation / тестирования LLM-систем.
• Понимание конверсии и воронки продаж.
• Опыт работы с API и backend-логикой.

Технологический контур

• Backend: nodejs/nestjs
• Оркестрация / workflow: n8n
• LLM-провайдеры: openai
• База данных: postgres
• Инфраструктура: docker, got, vps
• Логирование / трекинг: grafana
• Интеграции: Google calendar, telegram

LLM-направление не жёстко привязано к конкретному стеку — для нас важнее архитектура контроля и результат.

Формат работы

• Full-time
• Удалённо
• Возможен бонус за достижение KPI (рост конверсии, снижение нарушений)

Обязательный вопрос для отклика

Пожалуйста, кратко ответьте:

У вас есть AI-агент, который должен доводить диалог до назначения встречи.

Какие 5 метрик вы внедрите в первую очередь и как организуете smoke/regression-тестирование новых версий промптов?

Мы оцениваем понимание архитектуры контроля, а не список инструментов.