Нужно ли дообучать: разговор с продактом
Вопрос
Продакт говорит: «Модель плохо отвечает про наши продукты, давайте её дообучим». Что вы ответите и что предложите?
Попробуйте сами
Ответьте вслух за 2 минуты, как на собесе. Потом сверьтесь с тезисами: что прозвучало, а что нет.
Показать ответ и разбор
Коротко
Что должно прозвучать в ответе
Уточнить, в чём «плохо»: нет знаний, формат, стиль, ошибки рассуждения
Знания лучше давать через RAG: обновляемо, со ссылками
Дообучение для поведения: формат, тон, узкая задача, удешевление
Сначала оценочный набор и базовая линия
Стоимость и поддержка дообучения: данные, переобучение, хостинг
План: промпт и RAG, потом дообучение по метрикам
Что могут спросить следом
- Сколько примеров нужно для дообучения?
- Как вы поймёте, что дообучение окупилось?
Разбор
Образцовый ответ: «Сначала разберусь, что значит плохо, на десятке реальных примеров. Если модель не знает наших продуктов и цен, дообучение не лучший путь: факты из обучения модель усваивает ненадёжно, не может на них сослаться, а при изменениях придётся переобучать. Это задача RAG. Если же проблема в форме, например, ответы не в нашем тоне, неправильный формат, или нужна дешёвая модель для потока однотипных задач, тогда дообучение оправдано. В любом случае начну с оценочного набора и замера текущего качества. Дальше промпт и RAG, и только если они упрутся, дообучение с LoRA на нескольких сотнях или тысячах качественных примеров, со сравнением на том же наборе и учётом стоимости поддержки».
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.