/
githubmirror
/
ColossalAI
Обзор
Документация
Войти
/
githubmirror
/
ColossalAI
Код
Запросы
0
Пакеты
0
Релизы
0
Аналитика
Безопасность
main
colossalai/inference/kv_cache/__init__.py
4 строки
164 B
Runyu Lu
[Feat]Inference RPC Server Support (#5705)
14 май 2024, 05:00
Не верифицирован
14 май 2024, 05:00
18d67d0
Код
Авторство
О чём код?
from .block_cache import CacheBlock from .kvcache_manager import KVCacheManager, RPCKVCacheManager __all__ = ["CacheBlock", "KVCacheManager", "RPCKVCacheManager"]