Выбор ответа Junior Признаки и интерпретация обновлено
Что делает TF-IDF
Вопрос
Зачем в TF-IDF множитель IDF?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Он понижает вес слов, встречающихся почти во всех документах, и повышает вес редких. IDF = log(N / df): чем в большем числе документов встречается слово, тем меньше вес.
Варианты ответа
- Он нормирует вес слова на длину документа, чтобы длинные тексты не получали завышенные значения TF
- Он учитывает порядок слов: слова в начале документа получают больший вес, чем слова в его конце
- Он понижает вес слов, встречающихся почти во всех документах, и повышает вес редкихправильный ответ
- Он переводит частоты слов в плотные эмбеддинги, сжимая словарь до нескольких сотен измерений
Разбор
IDF = log(N / df): чем в большем числе документов встречается слово, тем меньше вес. «И», «в», «на» есть везде и не различают документы. Нормировку длины обычно делают отдельной L2-нормализацией вектора. Порядок слов TF-IDF не учитывает (кроме n-грамм), и это не эмбеддинги.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.