Выбор ответа Junior Как устроены LLM спрашивают часто обновлено
GPT против BERT
Вопрос
Чем BERT принципиально отличается от GPT-подобных моделей?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: BERT это энкодер с двунаправленным вниманием и маскированием токенов; GPT декодер с каузальным. BERT видит контекст слева и справа и обучается на masked language modeling, поэтому хорош для классификации, NER и эмбеддингов, но не для свободной генерации.
Варианты ответа
- BERT это энкодер с двунаправленным вниманием и маскированием токенов; GPT декодер с каузальнымправильный ответ
- BERT генерирует текст лучше GPT, потому что при каждом токене видит контекст с двух сторон
- BERT не использует механизм внимания, только рекуррентные слои с двунаправленным проходом
- Разницы в архитектуре нет: обе модели декодеры, отличаются только размер и данные обучения
Разбор
BERT видит контекст слева и справа и обучается на masked language modeling, поэтому хорош для классификации, NER и эмбеддингов, но не для свободной генерации. GPT предсказывает следующий токен и генерирует текст. BERT построен на трансформере, рекуррентных слоёв там нет. Архитектурная разница реальная: энкодер против декодера.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.