Сопоставление Middle Как устроены LLM обновлено
Архитектуры трансформеров и задачи
Вопрос
Сопоставьте тип архитектуры и типичную модель или задачу.
Попробуйте сами
Нажмите слева, потом подходящее справа.
Показать ответ и разбор
Коротко
Энкодер видит контекст с двух сторон и хорош для понимания. Декодер с каузальной маской генерирует.
Правильные пары
Encoder-onlyBERT: классификация, NER, эмбеддинги
Decoder-onlyGPT-подобные чат-модели: генерация текста
Encoder-decoderT5 и классический машинный перевод
Cross-encoderРеранкер: пара «запрос и документ» на входе, оценка на выходе
Разбор
Энкодер видит контекст с двух сторон и хорош для понимания. Декодер с каузальной маской генерирует. Encoder-decoder сначала кодирует вход, затем генерирует выход с вниманием на него. Cross-encoder это способ применения энкодера: запрос и документ подаются вместе, поэтому он точнее, но дороже bi-encoder.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.