/

/

megatron-lm-distr

Обзор ДокументацияВойти

/

/

megatron-lm-distr

Аналитика

Безопасность

megatron-lm-distr

Martin Jaggi
Merge pull request #90 from epfLLM/mistral_docs
2 года назад
1b06b12

Описание

distributed trainer for LLMs

В избранном0

Языки

Python90,7%
C++6,4%
Cuda2,5%
C0,2%
HTML0,2%

Сообщить о нарушении

Коммиты:

Rename documentation to documentation.yml

2 года назад

minor consistency edit

2 года назад

added mistral docs

2 года назад

Merge pull request #88 from xingyaoww/mistral-pr-branch

2 года назад

Add post_ln option

3 года назад

Fixed old mentions of weights2megatron

2 года назад

Merge pull request #88 from xingyaoww/mistral-pr-branch

2 года назад

weights_conversion

added mistral docs

2 года назад

Switch base to Megatron-LM

3 года назад

update gitignore

2 года назад

minor consistency edit

2 года назад

Switch base to Megatron-LM

3 года назад

minor consistency edit

2 года назад

fix mistral sliding window size not loaded

2 года назад

pretrain_bert.py

decouple initialization, more refactoring

3 года назад

pretrain_ict.py

decouple initialization, more refactoring

3 года назад

decouple initialization, more refactoring

3 года назад

requirements.txt

bump flash-attn version

2 года назад

Switch base to Megatron-LM

3 года назад

verify_correctness.py

support bf16 model verify

2 года назад

Megatron-LLM Documentation Example models trained with Megatron-LLM Citation

README.md

Описание

distributed trainer for LLMs

Лицензия

В избранном0

Языки

Python90,7%
C++6,4%
Cuda2,5%
C0,2%
HTML0,2%

Сообщить о нарушении

Все инструменты для разработки на одной платформе

Для полного доступа зарегистрируйтесь или авторизуйтесь на GitVerse