gpt-neox
ФоркИзбранное
0
0
Описание
An implementation of model parallel autoregressive transformers on GPUs, based on the DeepSpeed library.
Языки
- Python82,1%
- C++12,1%
- Cuda2,5%
- C2,4%
- Shell0,5%
- Dockerfile0,4%
2 года назад
2 года назад
3 года назад
2 года назад
2 года назад
2 года назад
2 года назад
2 года назад
4 года назад
4 года назад
2 года назад
2 года назад
3 года назад
3 года назад
2 года назад
3 года назад
6 лет назад
3 года назад
2 года назад
3 года назад
2 года назад
2 года назад
3 года назад
3 года назад
3 года назад
3 года назад
GPT-NeoX
Why GPT-NeoX?
News
Versions
Contents
Quick Start
Environment and Dependencies
Usage
Configuration
Datasets
Preconfigured Datasets
Using Custom Data
Training and Finetuning
Pretrained Models
Inference
Evaluation
Exporting to Hugging Face
Monitoring
Weights and Biases
TensorBoard
Running on multi-node
Profiling
Nsight Systems Profiling
PyTorch Memory Profiling
Adoption and Publications
Publications
Models
Administrative Notes
Citing GPT-NeoX
Contributing
Licensing
Acknowledgements
README.md