/
vshmidt
/
llama.cpp
Обзор
Документация
Войти
/
vshmidt
/
llama.cpp
Код
Запросы
0
Задачи
Вики
Пакеты
0
Релизы
0
Аналитика
Безопасность
master
tests/peg-parser/simple-tokenize.cpp
37 строк
863 B
Aldehir Rojas
common : introduce composable PEG parser combinators for chat parsing (#17136)
03 дек 2025, 13:45
Не верифицирован
03 дек 2025, 13:45
0a8026e
Код
Авторство
О чём код?
#include "simple-tokenize.h" std::vector<std::string> simple_tokenize(const std::string & input) { std::vector<std::string> result; std::string current; for (size_t i = 0; i < input.size(); i++) { switch (input[i]) { case ' ': case '\n': case '\t': case '{': case '}': case ',': case '[': case '"': case ']': case '.': case '<': case '>': case '=': case '/': if (!current.empty()) { result.push_back(current); current.clear(); } default:; } current += input[i]; } if (!current.empty()) { result.push_back(current); } return result; }