Dlaczego kalibracja jest potrzebna?
Sztuczna inteligencja określa Tematy na podstawie treści rozmowy, a nie tylko słów kluczowych. W tym celu używana jest instrukcja tekstowa opisująca, które rozmowy należy uwzględnić w Temacie, a które wykluczyć.
Początkowy opis może nie uwzględniać wszystkich rzeczywistych scenariuszy. Podczas kalibracji użytkownik sprawdza przykłady rozmów i wskazuje, czy decyzja sztucznej inteligencji o przypisaniu Tematu do rozmowy była prawidłowa. Wyjaśnienia błędów sztucznej inteligencji są wykorzystywane do utworzenia ulepszonej wersji definicji.
Krok 1: Otwórz Temat
Kliknij ikonę rakiety w menu po lewej stronie.
Przejdź do Topics.
Otwórz Temat, którego dokładność chcesz sprawdzić.
Krok 2: Utwórz początkową definicję AI
Jeśli Temat nie ma jeszcze żadnej wersji definicji:
Kliknij Generate Initial Definition.
Poczekaj na wygenerowanie ulepszonego opisu.
Sprawdź definicję w sekcji Instruction the AI uses.
Kliknij Continue to Review.
Po wygenerowaniu system będzie używać nowego opisu utworzonego przez AI zamiast opisu utworzonego ręcznie.
Tworzenie początkowej definicji Tematu
Krok 3: Skonfiguruj filtr kalibracji
Filtr kalibracji jest opcjonalny. Warto go użyć, jeśli Temat dotyczy tylko określonego zbioru rozmów.
Przed zastosowaniem filtra możesz najpierw przejrzeć bieżące próbki. Dodaj filtr, jeśli nie odpowiadają właściwemu Tematowi.
Zaleca się wybranie agenta lub zespołu, którego rozmowy mają zostać sprawdzone. Można także dodać kolejkę, zakres dat lub inne dostępne warunki.
W przypadku ogólnego Tematu pozostaw opcję All conversations. Zbyt wąski filtr może utworzyć mniejszą i mniej reprezentatywną próbkę.
Otwórz Calibration filter.
Skonfiguruj odpowiednie warunki.
Kliknij Apply Filter & Generate New Samples.
Konfigurowanie filtra kalibracji
Jeśli zmienisz filtr, gdy istnieją niesprawdzone przykłady, 20 niesprawdzonych próbek zostanie usuniętych i wymienionych na nowe próbki. Wcześniej sprawdzone przykłady zostaną zachowane.
Jak ręcznie dodać rozmowy do zestawu weryfikacyjnego
Jeśli system nie może automatycznie znaleźć przykładowych rozmów dla Tematu, pasujące lub niepasujące rozmowy można dodać ręcznie.
Przejdź do funkcji „Utwórz zestaw weryfikacyjny” lub „Zarządzaj zestawem weryfikacyjnym”.
W prawym górnym rogu wybierz opcję dodawania pasujących lub niepasujących rozmów.
Po kliknięciu odpowiedniego przycisku otworzy się strona z pełną listą rozmów.
Zastosuj filtrowanie według odpowiedniego tagu, aby zawęzić wyszukiwanie pasujących rozmów.
Po znalezieniu odpowiedniej rozmowy zaznacz ją polem wyboru po lewej stronie.
Zaznaczone rozmowy zostaną dodane jako pasujące lub niepasujące, zależnie od opcji wybranej wcześniej.
Krok 4: Oceń, w jaki sposób AI wybrała Temat dla rozmowy
Interfejs weryfikacji zawiera:
łącze do pełnej rozmowy, za pomocą którego można przeczytać całą transkrypcję lub odsłuchać rozmowę;
wyróżniony fragment użyty przez sztuczną inteligencję do oceny;
wyjaśnienie decyzji i poziom pewności podany w procentach;
przyciski odpowiedzi Yes, No i Unclear.
Opcja zalecana przez sztuczną inteligencję jest wyróżniona kolorem czerwonym, zielonym lub żółtym. Jeśli zgadzasz się z decyzją AI, kliknij wyróżnioną opcję. Jeśli się nie zgadzasz, wybierz prawidłową odpowiedź.
Weryfikacja rozmowy, decyzja AI i dostępne opcje odpowiedzi
Krok 5: Wyjaśnij błędną decyzję
Jeśli Twoja odpowiedź różni się od decyzji AI, otworzy się okno „Explain your label”.
Wprowadź konkretne wyjaśnienie swojej decyzji.
Wskaż fragmenty lub okoliczności rozmowy, które potwierdzają Twoją ocenę.
Kliknij Save.
Sztuczna inteligencja używa tego wyjaśnienia do utworzenia nowej definicji, dlatego musi ono być precyzyjne.
Pole do wyjaśnienia własnej oceny
Krok 6: Zakończ weryfikację próbki
Powtórz ocenę wybranych Tematów dla wszystkich zaproponowanych rozmów. Po zakończeniu system poinformuje, że wszystkie przykłady kalibracyjne zostały sprawdzone, i rozpocznie przygotowywanie nowej definicji Tematu.
Nową próbkę do weryfikacji będzie można utworzyć po zakończeniu przygotowywania definicji.
Utworzenie nowej definicji Tematu może potrwać ponad godzinę. W tym czasie system przeprowadza analizę semantyczną i ponowną kalibrację.
Krok 7: Sprawdź wynik
Po zakończeniu przetwarzania system wyświetli zaktualizowaną dokładność i ulepszoną instrukcję w polu Instruction the AI uses.
Jeśli wynik nie jest zadowalający:
Kliknij Create Review Batch and Review More Conversations.
Sprawdź kolejnych 20 rozmów.
Dodatkowa próbka dostarcza sztucznej inteligencji więcej przykładów do nauki i pozwala utworzyć dokładniejszą definicję.
Zaktualizowana dokładność i tworzenie dodatkowej próbki do weryfikacji
Krok 8: Aktywuj odpowiednią wersję
Otwórz panel Versions po prawej stronie ekranu.
Porównaj dostępne wersje definicji.
Wybierz odpowiednią wersję.
Aktywuj wersję, klikając znajdującą się obok niej ikonę znacznika wyboru.
Wybór wersji definicji Tematu
Po aktywowaniu wybranej wersji wskaźnik dokładności będzie wyświetlany na głównej liście Tematów.
Na tym kalibracja zostaje zakończona: aktywowana wersja jest używana do dalszej kategoryzacji rozmów.
Jak oceniać dokładność Tematu
Po sprawdzeniu przykładów rozmów platforma wyświetla wskaźnik dokładności Tematu. Pomaga on zrozumieć, jak prawidłowo system rozpoznaje rozmowy należące lub nienależące do tego Tematu.
Do konfiguracji Tematu używane są:
początkowy opis Tematu — utworzony przez człowieka opis jego treści i przeznaczenia;
Include when — warunki, w których rozmowę należy przypisać do Tematu;
Exclude when — warunki, w których rozmowy nie należy przypisywać do Tematu.
Dalsze działania zależą od uzyskanego wskaźnika dokładności:
Poniżej 70% — niska dokładność. W sekcji „Wszystkie rozmowy” samodzielnie znajdź rozmowy, które ze względu na kontekst mogą należeć do tego Tematu, i przeczytaj je, aby lepiej zrozumieć kontekst. Ręcznie przypisz znalezione rozmowy jako przykłady działania Tematu. Następnie zmień początkowy opis Tematu utworzony przez człowieka, aby dokładniej odpowiadał treści tych rozmów.
Od 70% do 79% — dokładność wymaga poprawy. W sekcji „Wszystkie rozmowy” samodzielnie znajdź rozmowy, które ze względu na kontekst mogą należeć do tego Tematu, i przeczytaj je, aby lepiej zrozumieć kontekst. Następnie ponownie przeczytaj sekcje Include when i Exclude when. Określ, które warunki należy dodać, doprecyzować lub usunąć, aby system lepiej rozróżniał pasujące i niepasujące rozmowy.
Od 80% do 89% — Temat jest prawie gotowy. Uważnie przeczytaj ponownie początkowy opis oraz sekcje Include when i Exclude when. Określ, jakiego szczegółu brakuje, aby dokładniej rozpoznawać rozmowy.
90% lub więcej — zadowalająca dokładność. Taki wynik jest uznawany za wystarczający do korzystania z Tematu.