vllm

Форк

Описание

A high-throughput and memory-efficient inference and serving engine for LLMs

amd

514.77 MiB

Политика безопасности

Правила участия

В избранном0

Форки0

Языки

Python85,5%
Cuda9,2%
C++3,7%
Shell0,7%
C0,5%
CMake0,3%
Остальные0,1%

lkchen

[BugFix][P/D] Fix for cases where _recving_transfers can be cleaned up when *all* transfer done (#19874)

23 июн 2025, 08:41

Не верифицирован

23 июн 2025, 08:411bcd15e

.buildkite

[Bugfix][Ray] Set the cuda context eagerly in the ray worker (#19583 )

год назад

.github

[Misc] Update model-specific PR tagging (#19949 )

год назад

benchmarks

[Benchmark] fix request loss if "ping" is returned (#19535 )

год назад

cmake

[Misc][ROCm] Enforce no unused variable in ROCm C++ files (#19796 )

год назад

csrc

[Perf] Optimize `moe_align_block_size` CUDA kernel (#19572 )

год назад

docker

[ROCm] [AITER] [Bugfix] Patch for AITER commit `648764942e552a8bb5fe16026703716a81f05374` (#18990 )

год назад

docs

[doc] Fold long code blocks to improve readability (#19926 )

год назад

examples

[New model support]Support Tarsier2 (#19887 )

год назад

requirements

[CI][CPU] Improve dummy Triton interfaces and fix the CPU CI (#19838 )

год назад

tests

[BugFix][P/D] Fix for cases where _recving_transfers can be cleaned up when *all* transfer done (#19874 )

год назад

tools

[Perf][CLI] Improve overall startup time (#19941 )

год назад

vllm

[BugFix][P/D] Fix for cases where _recving_transfers can be cleaned up when *all* transfer done (#19874 )

год назад

.clang-format

[CI/Build] Enforce style for C++ and CUDA code with `clang-format` (#4722 )

2 года назад

.dockerignore

[CI/Build] remove .github from .dockerignore, add dirty repo check (#9375 )

2 года назад

.gitignore

[CI] change spell checker from codespell to typos (#18711 )

год назад

.pre-commit-config.yaml

[Perf][CLI] Improve overall startup time (#19941 )

год назад

.readthedocs.yaml

Migrate docs from Sphinx to MkDocs (#18145 )

год назад

.shellcheckrc

[CI/Build] Add shell script linting using shellcheck (#7925 )

2 года назад

.yapfignore

[issue templates] add some issue templates (#3412 )

2 года назад

CMakeLists.txt

Remove sm120 arch from sm100 cutlass kernel arch list (#19716 )

год назад

CODE_OF_CONDUCT.md

[CI/Build] Auto-fix Markdown files (#12941 )

год назад

CONTRIBUTING.md

[Doc] Reorganize user guide (#18661 )

год назад

DCO

[Doc] Add the DCO to CONTRIBUTING.md (#9803 )

2 года назад

LICENSE

Add Apache-2.0 license (#102 )

3 года назад

MANIFEST.in

Move requirements into their own directory (#12547 )

год назад

README.md

[doc] use snippets for contact us (#19944 )

год назад

RELEASE.md

Add RELEASE.md (#13926 )

год назад

SECURITY.md

[Docs] Update SECURITY.md with link to our security guide (#18961 )

год назад

find_cuda_init.py

[Misc] Add SPDX-FileCopyrightText (#19100 )

год назад

format.sh

fix: tiny fix make format.sh excutable (#16015 )

год назад

mkdocs.yaml

[doc][mkdocs] Add edit button to documentation (#19637 )

год назад

pyproject.toml

[CI] change spell checker from codespell to typos (#18711 )

год назад

setup.py

[Misc] Add packages for benchmark as extra dependency (#19089 )

год назад

typos.toml

[CI] change spell checker from codespell to typos (#18711 )

год назад

use_existing_torch.py

[Misc] Add SPDX-FileCopyrightText (#19100 )

год назад

README.md