ОбзорДокументацияВойти
/
rnekrasov
/
tiktoken
Код
Запросы
0
Пакеты
0
Релизы
0
Аналитика
Безопасность

tiktoken

0

Описание

tiktoken is a fast BPE tokeniser for use with OpenAI's models.

1.3 MiB
README
Лицензия
История изменений
В избранном1
Форки0

Языки

  • Python70%
  • Rust30%
2
44
10

Shantanu

11 фев 2024, 11:20
.github
3 года назад
scripts
3 года назад
src
3 года назад
tests
3 года назад
tiktoken
3 года назад
tiktoken_ext
3 года назад
.gitignore
3 года назад
CHANGELOG.md
3 года назад
Cargo.toml
3 года назад
LICENSE
4 года назад
MANIFEST.in
4 года назад
README.md
3 года назад
perf.svg
4 года назад
pyproject.toml
3 года назад
setup.py
4 года назад
README.md