Карточка Junior Эмбеддинги и fine-tuning обновлено
nn.Embedding
Вопрос
Что такое слой nn.Embedding?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Обучаемая таблица размера (числоid × размерность): по индексу возвращает строку. Эквивалентен умножению one-hot вектора на матрицу, но без построения one-hot.
Ответ
Обучаемая таблица размера (число_id × размерность): по индексу возвращает строку. Эквивалентен умножению one-hot вектора на матрицу, но без построения one-hot. Градиент приходит только в строки, встретившиеся в батче.
Разбор
Обучаемая таблица размера (число_id × размерность): по индексу возвращает строку. Эквивалентен умножению one-hot вектора на матрицу, но без построения one-hot. Градиент приходит только в строки, встретившиеся в батче.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.