llm-swarm
ФоркИзбранное
0
0
Описание
Manage scalable open LLM inference endpoints in Slurm clusters
Языки
- Python75%
- Shell25%
3 года назад
2 года назад
3 года назад
3 года назад
3 года назад
3 года назад
3 года назад
3 года назад
3 года назад
3 года назад
3 года назад
Features
Prerequisites
Install and prepare
Hello world
Wait, I don't have a Slurm cluster?
Benchmark
Development mode
What if I hit errors mid-generation?
Installing TGI from scratch (Dev notes)
README.md