/
joeripper
/
langchain-fork
Обзор
Документация
Войти
/
joeripper
/
langchain-fork
Код
Запросы
0
Задачи
Вики
Пакеты
0
Релизы
0
Аналитика
Безопасность
master
docs/scripts/cache_data.py
14 строк
416 B
ccurme
docs: run how-to guides in CI (#27615)
30 окт 2024, 19:35
Не верифицирован
30 окт 2024, 19:35
595dc59
Код
Авторство
О чём код?
import tiktoken from unstructured.nlp.tokenize import download_nltk_packages def download_tiktoken_data(): # This will trigger the download and caching of the necessary files _ = tiktoken.encoding_for_model("gpt2") _ = tiktoken.encoding_for_model("gpt-3.5-turbo") _ = tiktoken.encoding_for_model("gpt-4o-mini") if __name__ == "__main__": download_tiktoken_data() download_nltk_packages()