Код Junior Как устроены LLM обновлено
Простой токенайзер на Python
Условие
Напишите tokenize(text): приведите текст к нижнему регистру и разбейте на токены. Токен: либо максимальная последовательность букв (любого алфавита), цифр и _, либо один знак препинания или иной символ, не являющийся пробельным. Пробельные символы отбрасываются. Верните список строк.
Пример: "Привет, мир!" → ["привет", ",", "мир", "!"].
Примеры
tokenize("Привет, мир!") // ["привет", ",", "мир", "!"]
tokenize("") // []
tokenize(" ") // []
Как подойти
Подсказки: 2
re.findallс альтернативой из двух шаблонов.- Не забудьте
lower()до разбиения.
Решите в тренажёре
Редактор с автотестами прямо в браузере. Можно решить спокойно, вслух или под таймером, как на собесе.