Проектирование Senior Оценка качества обновлено
Спроектируйте систему оценки LLM-фич
Вопрос
В компании 10 команд делают LLM-фичи (боты, суммаризация, извлечение данных). Нужна общая платформа оценки качества: офлайн-прогоны перед выкаткой и мониторинг в проде. Спроектируйте её.
Коротко
Сильный ответ видит платформу как конвейер: версионированные наборы, подключаемые оценщики, воспроизводимые прогоны и отчёт сравнения, который может быть гейтом в CI. Отдельно: калибровка судей на людях, обезличивание данных из прода, контроль стоимости прогонов.
Что должно быть в решении
- 1Требования: какие типы задач, кто пользователи платформы, частота прогонов, интеграция с CI
- 2Хранилище наборов: версии наборов, примеры из прода с обезличиванием, разметка людьми
- 3Оценщики: программные проверки, метрики поиска, LLM-судьи с версиями рубрик, ручная разметка
- 4Запуск: прогон версии системы (промпт, модель, параметры) на наборе, кеширование генераций, параллельность и лимиты
- 5Сравнение версий: попарные отчёты, срезы по категориям, доверительные интервалы, гейт в CI
- 6Онлайн: сбор сигналов пользователей, выборочная оценка судьёй, дашборды и алерты на дрейф
- 7Стоимость и доступы: бюджеты на прогоны, ПДн в наборах, права команд
Что спросит интервьюер
- Как калибровать судей централизованно?
- Как не допустить, чтобы команды подгоняли промпт под набор?
- Сколько стоит один прогон и как это снизить?
Разбор
Сильный ответ видит платформу как конвейер: версионированные наборы, подключаемые оценщики, воспроизводимые прогоны и отчёт сравнения, который может быть гейтом в CI. Отдельно: калибровка судей на людях, обезличивание данных из прода, контроль стоимости прогонов. Онлайн-часть замыкает цикл: провалы из прода становятся примерами в наборах.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.