llama.cpp-advanced_arch
Описание
LLM inference in C / C++ with advanced architecture support
Языки
- C++61,3%
- C13,7%
- Python8,2%
- Cuda6%
- Objective-C2,2%
- Metal2%
- Остальные6,6%
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
год назад
README.md
Everything is the same as in the original llama.cpp but Starvector support has been added!
While in development, come back later...
Which is already supported:
| Starvector-1b | Starvector-8b | |
|---|---|---|
| Quantization | ✅ | ❌ |
| Inference | ? (I haven't tested it yet, but theoretically it should work) | ❌ |