/
githubmirror
/
ColossalAI
Обзор
Документация
Войти
/
githubmirror
/
ColossalAI
Код
Запросы
0
Пакеты
0
Релизы
0
Аналитика
Безопасность
main
colossalai/legacy/engine/gradient_handler/__init__.py
13 строк
537 B
Xuanlei Zhao
[moe] merge moe into main (#4978)
02 ноя 2023, 05:21
Не верифицирован
02 ноя 2023, 05:21
dc003c3
Код
Авторство
О чём код?
from ._base_gradient_handler import BaseGradientHandler from ._data_parallel_gradient_handler import DataParallelGradientHandler from ._pipeline_parallel_gradient_handler import PipelineSharedModuleGradientHandler from ._sequence_parallel_gradient_handler import SequenceParallelGradientHandler from ._zero_gradient_handler import ZeROGradientHandler __all__ = [ "BaseGradientHandler", "DataParallelGradientHandler", "ZeROGradientHandler", "PipelineSharedModuleGradientHandler", "SequenceParallelGradientHandler", ]