Что такое токен
Вопрос
Что такое токен и почему в нём, а не в словах, считают цену и лимиты?
Попробуйте сами
Ответьте про себя или вслух, потом откройте ответ и сверьтесь.
Показать ответ и разбор
Коротко
Ответ
Токен: единица, на которую токенайзер режет текст (часть слова, слово, знак, пробел), у каждого свой номер в словаре. Модель работает только с токенами: вычисления, контекстное окно и цена у провайдеров считаются в них. Грубо: английское слово около 1,3 токена, русский текст заметно дороже.
Разбор
Токен: единица, на которую токенайзер режет текст (часть слова, слово, знак, пробел), у каждого свой номер в словаре. Модель работает только с токенами: вычисления, контекстное окно и цена у провайдеров считаются в них. Грубо: английское слово около 1,3 токена, русский текст заметно дороже.
Ответьте сами, а не прочитайте
В тренажёре вопрос попадёт в повторения и вернётся, когда начнёт забываться. Плюс билеты с зачётом: 20 вопросов, не больше 2 ошибок.