Když ChatGPT umí analyzovat konverzace, proč tu je E.V.A. Insights?

Občas se setkáváme s poměrně logickou otázkou:

„Proč používat specializované řešení pro analýzu konverzací? Nestačí poslat data do ChatGPT nebo zařadit LLM do pipeline zpracování konverzací?“

Je to férová otázka.

A odpověď zní: někdy ano.

Pokud máte několik desítek konverzací a potřebujete rychle získat přehled o tom, co se v nich děje, moderní jazykové modely jsou skvělým nástrojem. Dokážou identifikovat témata, shrnout zpětnou vazbu, upozornit na opakující se problémy nebo navrhnout možné příčiny nespokojenosti uživatelů.

Jakmile však provozujete chatbot, voicebot nebo AI asistenta ve větším měřítku, povaha problému se zásadně mění.

Cílem už není analyzovat jednotlivé konverzace.

Cílem je řídit výkon celého konverzačního kanálu.

ChatGPT analyzuje vzorky. Provozní týmy řídí systémy.

Jazykový model dokáže velmi dobře odpovědět na otázku:

„Co se děje v těchto konverzacích?“

Jenže firmy potřebují odpovídat na úplně jiné otázky:

• Která témata selhávají nejčastěji?
• Zlepšil poslední release výkon asistenta, nebo ho zhoršil?
• Které problémy zasahují největší počet uživatelů?
• Na které konverzace by se měl QA tým podívat jako první?
• Jaké problémy se v posledních týdnech začínají objevovat?

Na tyto otázky nestačí jednorázová analýza. Vyžadují průběžné měření, klasifikaci, prioritizaci a sledování trendů napříč tisíci konverzací.

A právě zde začíná oblast conversation intelligence.

Jak vlastně poznáte, že je chatbot dobrý?

Jedna z nejčastějších otázek, které si vlastníci chatbotů kladou, je překvapivě obtížná:

„Je náš chatbot dobrý?“

Ne ve srovnání s minulým měsícem.

Ne podle pocitu týmu.

Ale objektivně.

Jak si vede v jednotlivých oblastech? Jak se změnil po poslední úpravě? Kde zaostává za očekáváním uživatelů?
Bez benchmarkingu se optimalizace rychle mění v sérii domněnek.

Firmy proto potřebují metriky, které dokážou odpovědět například na otázky:

• Která témata fungují nadprůměrně?
• Která témata dlouhodobě zaostávají?
• Jaký dopad měly poslední změny?
• Kde se vyplatí investovat další vývojový čas?

Právě schopnost měřit výkon v čase často představuje větší hodnotu než samotná analýza jednotlivých konverzací.

Nejdražší chyby chatbotů bývají neviditelné

Mnoho týmů sleduje především fallbacky.

To dává smysl. Pokud chatbot nerozumí dotazu a přizná to, problém je vidět okamžitě.

Jenže největší škody často způsobují úplně jiné situace.

Chatbot odpoví.

Uživatel pokračuje v konverzaci.

Všechno na první pohled vypadá správně.

Jenže odpověď byla špatná.

Uživatel svůj problém nevyřešil a odchází nespokojený.

Takové případy označujeme jako false positives – situace, kdy systém odpovídá sebevědomě, ale nesprávně.

Právě tyto interakce bývají výrazně dražší než běžné fallbacky, protože se velmi obtížně odhalují. Neobjeví se v jednoduchých dashboardech a často se skrývají uvnitř konkrétních témat nebo skupin uživatelů.

Ne všechny chyby mají stejnou prioritu

Představme si dva problémy.

První se týká změny PIN kódu.
Druhý refinancování hypotéky.

Oba jsou technicky vzato chybou.
Jenže jejich obchodní dopad může být diametrálně odlišný.

Zatímco první problém ovlivní několik desítek uživatelů měsíčně, druhý může zasahovat stovky konverzací s vysokou obchodní hodnotou.

Úkolem conversation intelligence proto není pouze najít problémy.

Jejím cílem je určit, které problémy mají nejvyšší prioritu.

Skutečná hodnota nevzniká identifikací chyb, ale schopností propojit kvalitu konverzací s obchodním dopadem.

Analýza konverzací není jen o QA

Konverzace obsahují mnohem více informací než jen chyby chatbotu.
Ve skutečnosti představují jeden z nejbohatších zdrojů informací o zákaznících.

Mohou odhalit:

• nově vznikající potřeby zákazníků,
• témata, na která chatbot není připraven,
• zdroje frustrace,
• signály odchodu zákazníků,
• obchodní příležitosti,
• problémy v procesech,
• nedostatky v produktech nebo službách.

Mnoho organizací dnes zjišťuje, že data z konverzací mají hodnotu daleko přesahující samotný chatbot.

Otázka už dávno nezní:

„Co se v těchto konverzacích stalo?“

Mnohem důležitější je:

„Co bychom na základě těchto dat měli udělat?“

Governance a řízení rizik získávají na významu

S rostoucím nasazením generativní AI se objevuje ještě jedna oblast, která byla donedávna spíše okrajová.

Bezpečnost a governance.

Firmy dnes potřebují vědět:

• Dochází k pokusům o prompt injection?
• Objevují se jailbreak útoky?
• Produkuje asistent nevhodné nebo škodlivé odpovědi?
• Neohrožuje značku společnosti?
• Nedochází ke sdílení citlivých údajů?
• Nevznikají GDPR incidenty?

To už nejsou klasické chatbotové metriky.

Jde o oblast compliance, risk managementu a odpovědného využívání AI.

A právě zde význam systematického monitoringu konverzací rychle roste.

Konverzace neodhalují jen problémy. Odhalují i příležitosti.

Většina týmů analyzuje konverzace proto, aby našla chyby.

Ty nejúspěšnější organizace je ale využívají i k hledání obchodních příležitostí.

Zákazníci během konverzací často zanechávají velmi cenné signály:

• zájem o nový produkt,
• potenciál pro upsell,
• riziko odchodu,
• požadavek na kontakt s obchodníkem,
• nespokojenost s konkurencí,
• neuspokojené potřeby.

Pokud jsou tyto signály zachyceny a správně vyhodnoceny, stávají se konverzace důležitým zdrojem obchodní inteligence.
Nejen nástrojem pro zlepšování chatbotu.

Skutečný rozdíl

Obecné AI nástroje jsou vynikající v odpovídání na otázky.

Platformy typu E.V.A. Insights jsou navrženy tak, aby pomáhaly organizacím objevovat otázky, které by si měly klást.

Pomáhají pochopit nejen to, co se v konverzacích stalo, ale také:

• jak se výkon asistenta vyvíjí v čase,
• která témata představují největší riziko,
• kde vznikají nové problémy,
• jaké změny přinesou největší zlepšení,
• jaké obchodní příležitosti se skrývají v zákaznických interakcích.

Pokud dnes zvažujete, jak monitorovat a zlepšovat výkon svého chatbotu, voicebotu nebo AI asistenta, doporučujeme vyzkoušet oba přístupy.

Pošlete vzorek konverzací do ChatGPT.

A vedle toho se podívejte na řešení navržené přímo pro monitorování konverzací, benchmarking, QA, governance a business intelligence.

Zdarma například zde.

Rozdíl bývá patrný překvapivě rychle. 😉