Спроектируйте модерацию для пользовательского контента
Вопрос
Маркетплейс объявлений: 2 млн новых объявлений и 10 млн сообщений в чатах в сутки. Нужно модерировать мошенничество, запрещённые товары, оскорбления и контакты для увода сделки с площадки. Есть команда модераторов из 50 человек. Спроектируйте систему модерации с использованием ML и LLM.
Коротко
Что должно быть в решении
- 1Требования: категории нарушений, задержка (объявление до публикации, чат почти в реальном времени), цена ошибок обоих типов
- 2Оценка нагрузки: 23 объявления и 115 сообщений в секунду в среднем, пики в разы выше, стоимость на единицу
- 3Каскад: правила и стоп-листы, быстрые классификаторы, LLM только для неоднозначных случаев, люди для пограничных
- 4Маршрутизация по уверенности: авто-одобрение, авто-блок, очередь модераторов с приоритетом
- 5Данные и обучение: решения модераторов как разметка, регулярное дообучение, защита от обхода (опечатки, картинки с текстом)
- 6Качество: precision и recall по категориям на размеченном наборе, апелляции, аудит выборки
- 7Эксплуатация: пропускная способность очереди людей, метрики задержки, фолбэк при недоступности LLM
Что спросит интервьюер
- Как не завалить модераторов очередью?
- Как вы будете ловить мошенников, которые меняют формулировки?
- Сколько будет стоить LLM на таком потоке и как удешевить?
Разбор
Ключевая идея: каскад от дешёвого к дорогому. Правила и лёгкие классификаторы обрабатывают подавляющую часть потока за миллисекунды, LLM получает только неоднозначные случаи, а люди только пограничные и апелляции. Пороги выбираются по цене ошибок для каждой категории. Решения людей становятся разметкой, на которой переобучаются модели. Качество меряют по категориям, а не в среднем, и следят за дрейфом: мошенники быстро адаптируются.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.