Голосовой AI-ассистент для веб-ERP-систем

Задача

Работа в ERP — это много экранов и много полей, а ассистенту обычно нужна интеграция с каждой системой. Мы создали EFRION AI Autopilot, наш собственный продукт, чтобы проверить, может ли один ассистент работать в веб-ERP как она есть: без настройки, без интеграции и без API-ключей на стороне клиента.

Что мы сделали

• Сделали ассистента как расширение Chrome на Gemini Live: пользователь произносит запрос, а расширение передаёт звук.
• Настроили отправку модели снимка экрана каждые 1,5 секунды вместе с упрощённым деревом доступности страницы.
• Связали расширение с бэкендом на FastAPI двусторонним WebSocket, и бэкенд превращает вызовы функций модели в шесть действий на странице: нажать, ввести текст, прокрутить, перейти, прочитать и подсветить.
• Научили ассистента показывать план на экранной панели до действия и отмечать каждую цель анимированным курсором до нажатия.
• Добавили проверку после каждого нажатия: если страница не изменилась, ассистент пробует другой способ.
• Добавили голосовую команду «отменить», которая откатывает последнее из десяти действий, и необязательную блокировку безопасности с подтверждением перед отправкой, удалением или уходом со страницы.

Результат

Продукт открыт на ai.efrion.com: расширение можно скачать, а в демо голосовые команды выполняются шаг за шагом на экране ERP.