Выбор ответа Middle Эмбеддинги и fine-tuning обновлено
Идея word2vec
Вопрос
На чём основан word2vec?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Слова из похожих контекстов получают близкие векторы: skip-gram или CBOW. Дистрибутивная гипотеза: смысл слова определяется окружением.
Варианты ответа
- На ручных словарях синонимов вроде WordNet, по которым слова сближаются в пространстве
- Слова из похожих контекстов получают близкие векторы: skip-gram или CBOWправильный ответ
- На частоте слова в корпусе: частые слова получают векторы большей нормы и ближе к центру пространства
- На посимвольном сравнении слов: слова с общими корнями получают близкие векторы
Разбор
Дистрибутивная гипотеза: смысл слова определяется окружением. Обучение с негативным семплированием эффективно на больших корпусах. Минус: один вектор на слово независимо от контекста («ключ» от двери и «ключ» родник). Контекстные эмбеддинги трансформеров эту проблему решают.
- Словари не используются.
- Частота не определяет вектор.
- Посимвольные признаки добавляет fastText, но основа word2vec контекст.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.