Выбор ответа Junior Как устроены LLM обновлено
Почему русский текст дороже в токенах
Вопрос
Один и тот же смысл на русском обычно занимает больше токенов, чем на английском. Почему?
Попробуйте сами
Выберите вариант, и откроется разбор.
Показать ответ и разбор
Коротко
Правильный ответ: Словарь токенайзера строился на данных, где английского больше, и русские слова режутся мельче. Частые последовательности получают свои токены.
Варианты ответа
- Словарь токенайзера строился на данных, где английского больше, и русские слова режутся мельчеправильный ответ
- Кириллица кодируется в UTF-8 одним байтом, а латиница двумя, и токенайзер компенсирует это дроблением
- Модели переводят русский текст на английский перед обработкой, добавляя служебные токены
- Русские слова длиннее, а токен в современных токенайзерах равен одному слогу
Разбор
Частые последовательности получают свои токены. В обучающих данных токенайзера английского больше, поэтому английские слова чаще становятся целыми токенами, а русские дробятся. С UTF-8 наоборот: кириллица занимает 2 байта, латиница 1, это тоже увеличивает число токенов у byte-level BPE. Внутреннего перевода нет. Токен не равен слогу.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.