/
githubmirror
/
transformers
Обзор
Документация
Войти
/
githubmirror
/
transformers
Код
Запросы
0
Пакеты
0
Релизы
0
Аналитика
Безопасность
main
utils/test_module/custom_tokenization_fast.py
10 строк
321 B
Ita Zaporozhets
rm slow tokenizers (#40936)
27 ноя 2025, 21:24
Не верифицирован
27 ноя 2025, 21:24
05c0e1d
Код
Авторство
О чём код?
from transformers import BertTokenizerFast from .custom_tokenization import CustomTokenizer class CustomTokenizerFast(BertTokenizerFast): slow_tokenizer_class = CustomTokenizer _auto_map = { "AutoTokenizer": ("custom_tokenization.CustomTokenizer", "custom_tokenization_fast.CustomTokenizerFast") }