Токен: что это
Коротко
Токен: токен: единица, на которую токенайзер режет текст (часть слова, слово, знак, пробел), у каждого свой номер в словаре. Модель работает только с токенами: вычисления, контекстное окно и цена у провайдеров считаются в них.
Определение
Токен: единица, на которую токенайзер режет текст (часть слова, слово, знак, пробел), у каждого свой номер в словаре. Модель работает только с токенами: вычисления, контекстное окно и цена у провайдеров считаются в них. Грубо: английское слово около 1,3 токена, русский текст заметно дороже.
Из урока «Как устроена LLM»
Большая языковая модель (LLM) решает одну задачу: по началу текста предсказывает распределение вероятностей следующего токена. Текст сначала режется токенайзером на токены: куски слов, целые частые слова, знаки препинания, пробелы. У каждого токена есть номер в словаре (обычно 32-260 тысяч записей).
Читать урок целикомВопросы по теме с собеседований
Запомните, а не прочитайте
В тренажёре карточка вернётся, когда начнёт забываться. А билеты по LLM-инженерия проверят, что термин понятен в деле.