Математика точності скоркарти
Показник «95% точності» для кожного окремого пункту чек-ліста звучить майже ідеально. Проте проста математика пояснює, чому під час оцінювання дзвінків усе одно можуть виникати незначні помилки.
Розберемо на прикладі: уявімо, що ваш чек-ліст (картка оцінювання) складається з 20 пунктів (запитань). Якщо припустити найгірший варіант, коли штучний інтелект має точність 95% за кожним окремим пунктом, це означає таке:
Існує 5% ймовірності помилки для кожного запитання.
Якщо ми візьмемо масив із 100 дзвінків, де в кожному перевіряється 20 пунктів, то загалом ми отримаємо 2000 перевірок. При 5% похибки це дорівнює 100 помилкам на весь масив.
Оскільки помилки розподіляються нерівномірно, на практиці ви можете помітити одну дрібну похибку приблизно в кожному оціненому дзвінку.
Чому це абсолютно нормально? Вплив цих похибок на фінальну оцінку агента є незначним. Якщо ваша картка оцінювання максимально важить, наприклад, 20 балів, то похибка у 5% означає, що середнє відхилення становитиме лише 1 бал. Важливо зауважити, що математичне відхилення системи є двостороннім: ШІ з однаковою ймовірністю може як незначно занизити, так і завищити оцінку за окремий критерій. На великому масиві дзвінків ці дрібні похибки взаємно компенсуються, що забезпечує високу об'єктивність підсумкового результату агента.
Результат: ви отримуєте статистично точну й об'єктивну картину роботи агентів на масиві в тисячі дзвінків. Це неспіввідносно цінніше для бізнесу, ніж намагатися вручну перевірити лише 1% від усіх розмов, де людський фактор та суб'єктивність можуть викривити результати ще сильніше.
Управління змінами та адаптація KPI
Як підготувати агентів: Комунікаційна стратегія
Головна причина супротиву лінійного персоналу перед впровадженням ШІ - страх, що «робот оцінить неправильно і мене позбавлять премії». Для зняття напруги керівникам груп (Team Leaders) рекомендується донести до агентів такі тези:
ШІ — це інструмент розвитку, а не покарання. Модель аналізує до 95% дзвінків замість 1%, щоб виявляти системні прогалини в знаннях і допомагати агенту заробляти більше, а не для того, щоб «ловити на помилках».
Людський фактор мінімізовано. За старої системи оцінювання QA-менеджер міг обрати для перевірки випадковий невдалий дзвінок із тисячі, і агент втрачав бонус. ШІ оцінює весь масив, тому один невдалий чи емоційний дзвінок більше не руйнує загальну оцінку за місяць.
Право на апеляцію. Штучний інтелект — це алгоритм, який можна коригувати. Якщо агент аргументовано не згоден із виставленим балом у конкретній розмові, він завжди має право подати дзвінок на переперевірку людині.
Врахування дельти похибки в розрахунках KPI та мотивації
Для того щоб потенційне відхилення ШІ-оцінки в межах 5% не демотивувало команду та не впливало на фінансову частину (бонуси), у модель KPI лінійного персоналу необхідно закласти «захисний коридор» (Дельта).
Базуючись на максимально допустимій похибці у 5%, рекомендується впровадити такі правила розрахунку та коригування результатів:
Правило захисної дельти на користь агента
Оскільки система може помилятися на користь агента або проти агента, ми впроваджуємо правило «захисного зазору» у 5% під час оцінювання фінальних цільових показників.
Як це працює: Якщо для отримання максимального преміального грейду агенту необхідно досягти середньої оцінки за якість, наприклад, 95 балів, то з урахуванням 5% дельти нижній поріг автоматичного зарахування зміщується до 90,25 балів (або округлюється до 90).
Якщо фактичний результат агента за ШІ потрапив у цей проміжок (від 90 до 95 балів), такий KPI офіційно вважається виконаним на 100%. Це повністю нівелює ризик того, що мікропомилка в алгоритмі забере у співробітника премію.