/
githubmirror
/
ColossalAI
Обзор
Документация
Войти
/
githubmirror
/
ColossalAI
Код
Запросы
0
Пакеты
0
Релизы
0
Аналитика
Безопасность
main
applications/ColossalMoE/train.sh
19 строк
419 B
Xuanlei Zhao
[moe] init mixtral impl
07 фев 2024, 14:21
07 фев 2024, 14:21
7d8e033
Код
Авторство
О чём код?
NUM_GPU=8 MODEL="mistralai/Mixtral-8x7B-v0.1" SEQ_LENGTH=2048 BATCH_SIZE=1 LR=0.00001 # hybrid # torchrun --standalone --nproc_per_node $NUM_GPU \ colossalai run --nproc_per_node $NUM_GPU --hostfile "hostfile" \ train.py \ --num_epoch 1 \ --model_name $MODEL \ --plugin "hybrid" \ --batch_size $BATCH_SIZE \ --lr $LR \ --zero_stage 1 \ --pp_size 2 \ --dp_size 1 \ --ep_size 8 \