Выбор ответа Junior Как устроены LLM спрашивают часто обновлено
Как работает BPE-токенизация
Вопрос
Как строится словарь токенайзера BPE?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Начиная с байтов или символов, многократно склеивают самую частую пару соседей. BPE жадно сливает самую частую пару соседних единиц в новый токен, пока словарь не достигнет нужного размера.
Варианты ответа
- Берут все слова из обучающих текстов, сортируют по частоте и нумеруют самые частые
- Режут текст на куски фиксированной длины по 4 символа и нумеруют уникальные куски
- Обучают небольшую нейросеть, которая сама решает, где проходят границы токенов
- Начиная с байтов или символов, многократно склеивают самую частую пару соседейправильный ответ
Разбор
BPE жадно сливает самую частую пару соседних единиц в новый токен, пока словарь не достигнет нужного размера. Словарь из целых слов не справился бы с опечатками и редкими словами. Фиксированная нарезка игнорирует частотность. Отдельная нейросеть для границ не нужна: BPE это статистический алгоритм.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.