Навіщо потрібне калібрування?
ШІ визначає Тематики за змістом розмови, а не лише за ключовими словами. Для цього використовується текстова інструкція, яка описує, які розмови потрібно включати до Тематики, а які — виключати.
Початковий опис може не враховувати всі реальні сценарії. Під час калібрування користувач перевіряє приклади розмов і вказує, чи правильним було рішення ШІ щодо призначення тематики на розмову. Пояснення ШІ, де він помилився, використовуються для створення покращеної версії визначення.
Крок 1: Відкрийте Тематику
Натисніть значок ракети в лівому меню.
Перейдіть до Topics.
Відкрийте Тематику, точність якої потрібно перевірити.
Крок 2: Створіть початкове визначення ШІ
Якщо для Тематики ще немає версій визначення:
Натисніть Generate Initial Definition.
Дочекайтеся створення покращеного опису.
Перегляньте визначення в блоці Instruction the AI uses.
Натисніть Continue to Review.
Після генерації система використовуватиме новий опис ШІ замість опису, створеного вручну.
Створення початкового визначення для Тематики
Крок 3: Налаштуйте фільтр калібрування
Фільтр калібрування є необов’язковим. Його варто використовувати, якщо Тематика стосується лише певного набору розмов.
Перед застосуванням фільтра можна спочатку переглянути поточні зразки. Додавайте фільтр, якщо вони не відповідають потрібній Тематиці.
Рекомендується вибрати агента або команду, чиї розмови потрібно перевірити. Також можна додати чергу, діапазон дат або інші доступні умови.
Для загальної Тематики залиште All conversations. Надто вузький фільтр може сформувати меншу та менш репрезентативну вибірку.
Відкрийте Calibration filter.
Налаштуйте потрібні умови.
Натисніть Apply Filter & Generate New Samples.
Налаштування фільтра калібрування
Якщо змінити фільтр за наявності неперевірених прикладів, 20 неперевірених зразків буде видалено та замінено новою вибіркою. Уже перевірені приклади збережуться.
Як вручну додати розмови до набору для перевірки
Якщо система не може автоматично знайти приклади розмов для Тематики, відповідні або невідповідні розмови можна додати вручну.
Перейдіть до функції «Створити набір для перевірки» або «Керувати набором для перевірки».
У правому верхньому куті виберіть можливість додати відповідні або невідповідні розмови.
Після натискання потрібної кнопки відкриється сторінка із загальним списком розмов.
Застосуйте фільтрування за релевантним тегом, щоб звузити коло пошуку відповідних розмов.
Коли знайдете потрібну розмову, позначте її чекбоксом у лівій частині.
Позначені розмови буде додано як відповідні або невідповідні — залежно від варіанта, вибраного раніше.
Крок 4: Оцініть як ШІ обрав тематику для розмови
Інтерфейс перевірки містить:
посилання на повну розмову — за ним можна прочитати повний транскрипт або прослухати розмову;
виділений фрагмент, який ШІ використав для оцінювання;
пояснення рішення та рівень упевненості у відсотках;
кнопки відповіді Yes, No та Unclear.
Рекомендований ШІ варіант виділяється кольором — червоним, зеленим або жовтим. Якщо ви погоджуєтеся з рішенням ШІ, натисніть виділений варіант. Якщо не погоджуєтеся — виберіть правильну відповідь.
Перевірка розмови, рішення ШІ та доступні варіанти відповіді
Крок 5: Поясніть помилкове рішення
Якщо ваша відповідь відрізняється від рішення ШІ, відкриється вікно “Explain your label”.
Введіть конкретне пояснення свого рішення.
Укажіть фрагменти або обставини розмови, які підтверджують вашу оцінку.
Натисніть Save.
ШІ використовує це пояснення для створення нового визначення, тому воно повинно бути точним.
Поле для пояснення власної оцінки
Крок 6: Завершіть перевірку вибірки
Повторіть оцінювання обраних тематик для всіх запропонованих розмов. Після завершення система повідомить, що всі приклади калібрування перевірено, і почне готувати нове визначення Тематики.
Нову вибірку для перевірки можна буде створити після завершення підготовки визначення.
Створення нового визначення Тематики може тривати понад годину. У цей час система проводить семантичний аналіз і повторне калібрування.
Крок 7: Перевірте результат
Після завершення обробки система покаже оновлену точність і покращену інструкцію в полі Instruction the AI uses.
Якщо результат не задовольняє:
Натисніть Create Review Batch and Review More Conversations.
Перевірте ще 20 розмов.
Додаткова вибірка надає ШІ більше прикладів для навчання та дозволяє точніше сформувати визначення.
Оновлена точність і створення додаткової вибірки для перевірки
Крок 8: Активуйте потрібну версію
Відкрийте панель Versions у правій частині екрана.
Порівняйте доступні версії визначення.
Виберіть потрібну версію.
Активуйте версію, натиснувши значок галочки біля неї.
Вибір версії визначення Тематики
Після активації вибраної версії показник точності відображатиметься в загальному списку Тематик.
На цьому калібрування завершено: активована версія використовується для подальшої категоризації розмов.
Як оцінювати точність Тематики
Після перевірки прикладів розмов платформа відображає показник точності Тематики. Він допомагає зрозуміти, наскільки правильно система визначає розмови, що належать або не належать до цієї Тематики.
Для налаштування Тематики використовуються:
первинний опис Тематики — створений людиною опис її змісту та призначення;
Include when — умови, за яких розмову потрібно віднести до Тематики;
Exclude when — умови, за яких розмову не потрібно відносити до Тематики.
Подальші дії залежать від отриманого показника точності:
Менше ніж 70% — низька точність. Самостійно знайдить в розділі “Все Розмови” розмови, які за своїм контекстом можуть належати до цієї Тематики, і почитайте їх, щоб розуміти більше контексту. Вручну віднесіть знайдені розмови для прикладів роботи тематики. Після цього змініть первинний опис Тематики, створений людиною, щоб він точніше відповідав змісту таких розмов.
Від 70% до 79% — точність потребує покращення. Самостійно знайдить в розділі “Все Розмови” розмови, які за своїм контекстом можуть належати до цієї Тематики, і почитайте їх, щоб розуміти більше контексту. Потім перечитайте блоки Include when та Exclude when. Визначте, які умови потрібно додати, уточнити або прибрати, щоб система краще розрізняла відповідні та невідповідні розмови.
Від 80% до 89% — Тематика майже готова. Уважно перечитайте первинний опис, Include when та Exclude when. Визначте, якого нюансу не вистачає для точнішого визначення розмов.
90% і вище — задовільна точність. Такий результат вважається достатнім для використання Тематики.