/
githubmirror
/
devika
Обзор
Документация
Войти
/
githubmirror
/
devika
Код
Запросы
0
Пакеты
0
Релизы
0
Аналитика
Безопасность
main
ui/src/lib/token.js
13 строк
323 B
Leandro de Souza
Implement TicToken library in frontend (#283)
06 апр 2024, 10:40
Не верифицирован
06 апр 2024, 10:40
7474541
Код
Авторство
О чём код?
import { Tiktoken } from "tiktoken/lite"; import cl100k_base from "tiktoken/encoders/cl100k_base.json"; const encoding = new Tiktoken( cl100k_base.bpe_ranks, cl100k_base.special_tokens, cl100k_base.pat_str ); export function calculateTokens(text) { const tokens = encoding.encode(text); return tokens.length; }