lobe-chat

Форк
0
/
tokenizer.worker.ts 
12 строк · 319.0 Байт
1
addEventListener('message', async (event) => {
2
  const { id, str } = event.data;
3
  try {
4
    const { encode } = await import('gpt-tokenizer');
5

6
    const tokenCount = encode(str).length;
7

8
    postMessage({ id, result: tokenCount });
9
  } catch (error) {
10
    postMessage({ error: (error as Error).message, id });
11
  }
12
});
13

Использование cookies

Мы используем файлы cookie в соответствии с Политикой конфиденциальности и Политикой использования cookies.

Нажимая кнопку «Принимаю», Вы даете АО «СберТех» согласие на обработку Ваших персональных данных в целях совершенствования нашего веб-сайта и Сервиса GitVerse, а также повышения удобства их использования.

Запретить использование cookies Вы можете самостоятельно в настройках Вашего браузера.