/
githubmirror
/
text-generation-webui
Обзор
Документация
Войти
/
githubmirror
/
text-generation-webui
Код
Запросы
0
Пакеты
0
Релизы
0
Аналитика
Безопасность
main
modules/api/tokens.py
26 строк
482 B
oobabooga
API: Move OpenAI-compatible API from extensions/openai to modules/api
20 мар 2026, 20:46
20 мар 2026, 20:46
bf6fbc0
Код
Авторство
О чём код?
from modules.text_generation import decode, encode def token_count(prompt): tokens = encode(prompt)[0] return { 'length': len(tokens) } def token_encode(input): tokens = encode(input)[0] if tokens.__class__.__name__ in ['Tensor', 'ndarray']: tokens = tokens.tolist() return { 'tokens': tokens, 'length': len(tokens), } def token_decode(tokens): output = decode(tokens) return { 'text': output }