İstənilən veb-əsaslı ERP-ni idarə edən səsli AI köməkçisi

Tapşırıq

ERP sistemində işləmək çoxsaylı ekranlar və xanalar deməkdir, köməkçi proqram isə adətən hər bir sistemlə ayrıca inteqrasiya tələb edir. B2B proqram təminatı şirkəti olan EFRION istənilən veb-əsaslı ERP sistemində olduğu kimi işləyən bir həll istəyirdi: müştəri tərəfində heç bir tənzimləmə, inteqrasiya və API açarı olmadan.

Gördüyümüz işlər

• Köməkçini Gemini Live üzərində Chrome genişlənməsi kimi qurduq: istifadəçi sorğunu səsləndirir, genişlənmə isə səsi birbaşa ötürür.
• Modelə hər 1.5 saniyədən bir ekran görüntüsü və səhifənin sadələşdirilmiş əlçatanlıq ağacını göndərdik.
• Modelin funksiya çağırışlarını altı səhifə əməliyyatına — klikləmə, mətn daxil etmə, sürüşdürmə, keçid, oxuma və vurğulama — çevirmək üçün ikitərəfli WebSocket üzərindən FastAPI bekendi qoşduq.
• Köməkçinin öz planını ekrandakı paneldə elan etməsini və klikləməzdən əvvəl hər bir hədəfi animasiyalı kursorla göstərməsini təmin etdik.
• Hər klikdən sonra səhifənin həqiqətən dəyişdiyini yoxlayan mexanizm, dəyişmədikdə isə fərqli üsulla növbəti cəhd əlavə etdik.
• Son on əməliyyata qədər addımı geri qaytaran səsli «geri qaytar» əmri və göndərmə, silmə və ya səhifədən çıxma zamanı təsdiq istəyən seçimli təhlükəsizlik kilidi əlavə etdik.

Nəticə

Məhsul ai.efrion.com ünvanında açıqdır: genişlənməni yükləmək mümkündür, demo isə səsli əmrlərin ERP ekranında addım-addım necə icra olunduğunu göstərir.