/
githubmirror
/
ColossalAI
Обзор
Документация
Войти
/
githubmirror
/
ColossalAI
Код
Запросы
0
Пакеты
0
Релизы
0
Аналитика
Безопасность
main
applications/ColossalMoE/infer.sh
8 строк
204 B
Haze188
[MoE/ZeRO] Moe refactor with zero refactor (#5821)
28 июн 2024, 09:00
Не верифицирован
28 июн 2024, 09:00
416580b
Код
Авторство
О чём код?
NUM_GPU=2 # MODEL="mistralai/Mixtral-8x7B-v0.1" MODEL="mistralai/Mixtral-8x7B-Instruct-v0.1" # ep torchrun --standalone --nproc_per_node $NUM_GPU infer.py \ --model_name $MODEL \ --plugin "ep" \