/
githubmirror
/
ColossalAI
Обзор
Документация
Войти
/
githubmirror
/
ColossalAI
Код
Запросы
0
Пакеты
0
Релизы
0
Аналитика
Безопасность
main
colossalai/booster/plugin/__init__.py
23 строки
647 B
Wang Binluo
[shardformer] fix the moe (#5883)
03 июл 2024, 15:02
Не верифицирован
03 июл 2024, 15:02
6cd4c32
Код
Авторство
О чём код?
from .gemini_plugin import GeminiPlugin from .hybrid_parallel_plugin import HybridParallelPlugin from .low_level_zero_plugin import LowLevelZeroPlugin from .moe_hybrid_parallel_plugin import MoeHybridParallelPlugin from .plugin_base import Plugin from .torch_ddp_plugin import TorchDDPPlugin __all__ = [ "Plugin", "TorchDDPPlugin", "GeminiPlugin", "LowLevelZeroPlugin", "HybridParallelPlugin", "MoeHybridParallelPlugin", ] import torch from packaging import version if version.parse(torch.__version__) >= version.parse("1.12.0"): from .torch_fsdp_plugin import TorchFSDPPlugin __all__.append("TorchFSDPPlugin")