Выбор ответа Middle Эмбеддинги и fine-tuning обновлено
Контекстные эмбеддинги
Вопрос
Чем эмбеддинги из BERT-подобной модели отличаются от word2vec?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Вектор токена зависит от всего предложения, многозначные слова различаются. Трансформер пропускает токены через слои attention, и выход для слова «ключ» в предложении про замок и про родник будет разным.
Варианты ответа
- Они меньшей размерности, поэтому точнее передают смысл
- Они не требуют обучения: векторы считаются по формуле из attention
- Вектор токена зависит от всего предложения, многозначные слова различаютсяправильный ответ
- Они одинаковы для всех вхождений слова, но дополнительно учитывают его позицию в тексте
Разбор
Трансформер пропускает токены через слои attention, и выход для слова «ключ» в предложении про замок и про родник будет разным. Для эмбеддинга предложения берут pooling (среднее по токенам или CLS), а лучше модели, специально дообученные контрастивно для похожести предложений.
- Размерность бывает любой.
- Модель предобучена, и часто её дообучают.
- Как раз разные для разных контекстов.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.