Код-ревью Middle Внедрение и оценка решения обновлено
Ревью: план оценки успеха
Вопрос
Аналитик прислал план оценки результата проекта самообслуживания в поддержке (база знаний и чат-бот). Найдите проблемы.
Цель: снизить нагрузку на операторов.
Метрика 1: количество статей в базе знаний (цель: 500).
Метрика 2: доля обращений, закрытых ботом (базовая линия: не измеряли).
Оценку проводим через неделю после запуска, затем проект закрываем.
Для анализа выгружаем полные тексты всех диалогов клиентов с ФИО и номерами договоров в общий Google-диск.
Если цель не достигнута: признаём, что бот плохой.
Коротко
План оценки должен заранее задать измеримые цели результата, базовую линию, разумный горизонт и действия при недостижении. Здесь меряется работа, а не эффект, и при этом нарушаются требования к обработке персональных данных.
Что должен найти ревьюер
- Ошибкастрока 1Цель без метрики, базовой линии и срока: на сколько и к какой дате.
- Ошибкастрока 2Число статей метрика работы, а не результата: нужна доля решённых без оператора и повторные обращения.
- Ошибкастрока 3Нет базовой линии: сравнивать не с чем, нужно измерить до запуска.
- Ошибкастрока 4Неделя слишком мало для оценки, а закрытие проекта сразу после неё лишает возможности исправить решение.
- Безопасностьстрока 5Персональные данные клиентов в общем облачном хранилище за рубежом: нарушение 152-ФЗ, нужна обезличенная выборка в защищённом контуре.
- Стильстрока 6Нет анализа причин: проблема может быть в контенте, сценариях или в том, что клиенты не находят бот.
Разбор
План оценки должен заранее задать измеримые цели результата, базовую линию, разумный горизонт и действия при недостижении. Здесь меряется работа, а не эффект, и при этом нарушаются требования к обработке персональных данных.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.