ML system design: модерация объявлений

Требования: публикация за минуты, 50 модераторов физически видят несколько десятков тысяч объявлений в день, то есть автоматика должна закрывать больше 95% потока. Ошибки асимметричны: пропуск запрещёнки опасен для площадки, ложное отклонение злит честных продавцов. Данные: история решений модераторов с причинами, это шумная и смещённая разметка, поэтому выделяю качественно размеченный набор с перекрёстной проверкой. Модели: классификатор текста (дообученная языковая модель или эмбеддинги плюс бустинг), модель по картинкам, включая распознавание текста на изображениях, признаки продавца (возраст аккаунта, история нарушений), плюс правила на явные стоп-слова. Решение по двум порогам: высокий скор нарушения отклоняется автоматически, низкий одобряется, середина уходит людям в очереди по убыванию риска. Метрики: precision автоотклонения, recall нарушений, доля, ушедшая людям, время до публикации. Recall оцениваю аудитом случайной выборки автоодобренных объявлений. Метки модераторов идут в переобучение, слежу за дрейфом: нарушители быстро учатся обходить фильтры.