ОбзорДокументацияВойти
/
rnekrasov
/
vllm
Код
Запросы
0
Пакеты
0
Релизы
0
CI/CD
Аналитика
Безопасность

vllm

0

Описание

A high-throughput and memory-efficient inference and serving engine for LLMs

llm
pytorch
gpt
llama
transformer
llmops
mlops
model-serving
rocm
amd
cuda
inference
llm-serving
23.76 MiB
README
Лицензия
Правила участия
В избранном0
Форки0

Языки

  • Python75,7%
  • Cuda21,4%
  • C++1,9%
  • Shell0,5%
  • Dockerfile0,2%
  • C0,2%
  • Остальные0,1%
23
815
22

.buildkite
2 года назад
.github
2 года назад
benchmarks
2 года назад
csrc
2 года назад
docs
2 года назад
examples
2 года назад
rocm_patch
2 года назад
tests
2 года назад
vllm
2 года назад
.dockerignore
2 года назад
.gitignore
2 года назад
.readthedocs.yaml
3 года назад
CONTRIBUTING.md
3 года назад
Dockerfile
2 года назад
Dockerfile.rocm
2 года назад
LICENSE
3 года назад
MANIFEST.in
3 года назад
README.md
2 года назад
format.sh
2 года назад
patch_xformers.rocm.sh
2 года назад
pyproject.toml
2 года назад
requirements-build.txt
2 года назад
requirements-dev.txt
2 года назад
requirements-neuron.txt
2 года назад
requirements-rocm.txt
2 года назад
requirements.txt
2 года назад
setup.py
2 года назад
README.md