megatron-deepspeed

Форк

CY
CHEN Yuhan
Update pretrain_bert.py (#355)
2 года назад
a9856ce

Описание

Ongoing research training transformer language models at scale, including: BERT & GPT-2

В избранном0

Следят1

Языки

Python75,9%
Shell20,4%
C++3,2%
Cuda0,3%
C0,1%
Остальные0,1%

Merge azure branch manually (#65)

3 года назад

docs

slight mod.

3 года назад

examples

Fix Megatron Text Generation Issues (#188)

2 года назад

examples_deepspeed

Add steps for running TensorBoard analysis in Universal Checkpointing README (#349)

2 года назад

images

Update numbers in README

3 года назад

megatron

Support loading checkpoint specific tag (#352)

2 года назад

tasks

Fix lm_eval_harness for GPT models (#292)

2 года назад

tests

Fix Megatron Text Generation Issues (#188)

2 года назад

tools

Supervised Fine-tuning for HugginFace pretrained weight. (#318)

2 года назад

.coveragerc

Adding proper test cases

3 года назад

.gitignore

AzureML v1 (#185)

2 года назад

.gitlab-ci.yml

Replace redundant preprocess_data.py with preprocess_data_partitions.py

2 года назад

CODEOWNERS

add checkpoint throughput measurement (#69)

3 года назад

LICENSE

Clean up licensing.

3 года назад

MANIFEST.in

added unit test for megatron (#102)

3 года назад

README.md

Add worker option for preprocess_data.py (#339)

2 года назад

SECURITY.md

Microsoft mandatory file (#72)

3 года назад

finetune_llama.py

Supervised Fine-tuning for HugginFace pretrained weight. (#318)

2 года назад

pretrain_bert.py

Update pretrain_bert.py (#355)

2 года назад

pretrain_gpt.py

Fixed incorrect argument supplied to deepspeed init (#323)

2 года назад

pretrain_gpt_core.py

Add Megatron-LM pretrain function for the core.

2 года назад

pretrain_ict.py

Merge remote-tracking branch 'upstream/main' into rebase

2 года назад

pretrain_retro.py

Retro updates.

2 года назад

pretrain_t5.py

Convert t5 to use config object.

2 года назад

pretrain_vision_classify.py

Update more non-core code to use config objects.

2 года назад

pretrain_vision_dino.py

Update more non-core code to use config objects.

2 года назад

pretrain_vision_inpaint.py

Update more non-core code to use config objects.

2 года назад

setup.py

fixing regular installation (#173)

2 года назад

Readme

README.md

Описание

Ongoing research training transformer language models at scale, including: BERT & GPT-2

В избранном0

Следят1

Языки

Python75,9%
Shell20,4%
C++3,2%
Cuda0,3%
C0,1%
Остальные0,1%

Сообщить о нарушении

megatron-deepspeed

CYCHEN YuhanUpdate pretrain_bert.py (#355)2 года назадa9856ce

Описание

Языки

Описание

Языки

CY
CHEN Yuhan
Update pretrain_bert.py (#355)
2 года назад
a9856ce