Выбор ответа Junior Attention и трансформеры спрашивают часто обновлено
BERT против GPT
Вопрос
Чем encoder-only модели (BERT) отличаются от decoder-only (GPT)?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: BERT видит контекст в обе стороны и восстанавливает маски, для понимания; GPT видит прошлое и генерирует. Encoder-only с двунаправленным attention используют для классификации, NER, поиска.
Варианты ответа
- BERT генерирует текст лучше GPT, потому что видит контекст в обе стороны, а GPT только классифицирует
- GPT не использует attention, только MLP-блоки с причинной сверткой, а BERT построен на attention
- Это одна архитектура с разными именами: отличаются только размер модели и данные предобучения
- BERT видит контекст в обе стороны и восстанавливает маски, для понимания; GPT видит прошлое и генерируетправильный ответ
Разбор
Encoder-only с двунаправленным attention используют для классификации, NER, поиска. Decoder-only с причинной маской генерируют текст и сейчас доминируют в больших моделях. Encoder-decoder (T5) для задач «текст в текст». Масштабированные decoder-only модели умеют и понимание через промптинг.
- BERT не предназначен для генерации.
- Attention в GPT есть, с маской.
- Архитектуры различаются маской и задачей обучения.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.