/
githubmirror
/
ChatGPT-Next-Web
Обзор
Документация
Войти
/
githubmirror
/
ChatGPT-Next-Web
Код
Запросы
0
Пакеты
0
Релизы
0
Аналитика
Безопасность
main
app/utils/token.ts
22 строки
465 B
Yidadaa
feat: new token count function
14 июн 2023, 19:14
14 июн 2023, 19:14
76fdd04
Код
Авторство
О чём код?
export function estimateTokenLength(input: string): number { let tokenLength = 0; for (let i = 0; i < input.length; i++) { const charCode = input.charCodeAt(i); if (charCode < 128) { // ASCII character if (charCode <= 122 && charCode >= 65) { // a-Z tokenLength += 0.25; } else { tokenLength += 0.5; } } else { // Unicode character tokenLength += 1.5; } } return tokenLength; }