/

/

llama.cpp

Обзор ДокументацияВойти

/

/

llama.cpp

Аналитика

Безопасность

llama.cpp

Публичный

Описание

374.36 MiB

Лицензия

Политика безопасности

Правила участия

В избранном0

Языки

C++56%
C16%
Python7,2%
Cuda5,3%
TypeScript4,2%
Svelte2,1%
Остальные9,2%

Сообщить о нарушении

Коммиты:

AS

verybigbadboy

server: defer new request when a busy slot has matching prompt

23 сен 2026, 21:09

23 сен 2026, 21:096a4317e

openvino : Update OpenVINO to 2026.4;fix clangd,MSVC warnings; (#29009)

7 дней назад

contributing: tighten AI usage policy (#18388)

9 месяцев назад

ci: change ubuntu-latest to ubuntu-24.04 (#29079)

6 дней назад

tests : add fusion baseline README and broaden fusion CI triggers (#28893)

10 дней назад

cmake : use PROJECT_SOURCE_DIR instead of CMAKE_SOURCE_DIR (#28771)

9 дней назад

benches : add Nemotron 3 Nano on DGX Spark (#20652)

6 месяцев назад

OpenVINO: optimize stateful decode and GPU MoE inference (#28638)

9 дней назад

CI: Use LLVM's OpenMP over MSVC_DEBUG_non_redist on Windows (#26678)

месяц назад

server: unified KV cache with async save/load, LCP slot selection, metrics

2 дня назад

vocab : add ufakzeka pre-tokenizer (#29033)

6 дней назад

openvino : Update OpenVINO to 2026.4;fix clangd,MSVC warnings; (#29009)

7 дней назад

cmake : fix build when GGML_CPU=OFF and GGML_CUDA=ON (#29026)

6 дней назад

server: parallel save/load, KV space check, cudaHostRegister probe

3 дня назад

gguf-py: fix Q8_1 block size in GGML_QUANT_SIZES (2+2+32) (#29036)

6 дней назад

common : implement common_schema internal representation for JSON schemas (#28736)

12 дней назад

server: async prompt cache save via worker thread

4 дня назад

refactor : remove libcurl, use OpenSSL when available (#18828)

8 месяцев назад

media : add transparent icon svg and png [no ci] (#15891)

год назад

[Model] Support for Spark2_5ForCausalLM implementation (#27868)

18 дней назад

cmake : fix build when GGML_CPU=OFF and GGML_CUDA=ON (#29026)

6 дней назад

py : lower numpy to 2.2.6 (#28654)

15 дней назад

ci : add API/ABI check to make-release workflow [no ci] (#28947)

7 дней назад

test: move tools/parser to tests (#27548)

месяц назад

server: unified KV cache with async save/load, LCP slot selection, metrics

2 дня назад

hexagon: HMX flash-attention head_dim padding (support DK=DV=72) (#26539)

6 дней назад

server: defer new request when a busy slot has matching prompt

21 час назад

vendor : update cpp-httplib to 0.56.0 (#28787)

12 дней назад

fix: apply clang-format to CUDA macros (#16017)

год назад

clang-tidy : disable warning about performance enum size (#16127)

год назад

docker : prebuild web UI for s390x build [no release] (#24829)

3 месяца назад

cmake : use PROJECT_SOURCE_DIR instead of CMAKE_SOURCE_DIR (#28771)

9 дней назад

ui: Restructure repo to use `tools/ui` folder and `ui` / `UI` / `llama-ui` / `LLAMA_UI` naming (#23064)

4 месяца назад

llama : move end-user examples to tools directory (#13249)

год назад

server: unified KV cache with async save/load, LCP slot selection, metrics

2 дня назад

ggml : remove kompute backend (#14501)

год назад

.pre-commit-config.yaml

convert.py : add python logging instead of print() (#6511)

2 года назад

arg: remove -no-cnv from cli [no ci] (#27542)

месяц назад

docs : update maintainer PRs link and regenerate AUTHORS (#28365)

20 дней назад

contributing: tighten AI usage policy (#18388)

9 месяцев назад

server: unified KV cache with async save/load, LCP slot selection, metrics

2 дня назад

CMakePresets.json

cmake : Add CMake presets for Linux and GCC (#14656)

год назад

docs: remove JG as CODEOWNER for test-llama-archs (#29003)

7 дней назад

CONTRIBUTING.md

docs: Rule of thumb for AI review time [no ci] (#28945)

9 дней назад

Dockerfile.build

server : ctx-overflow swap policy for unified KV pool, prompt cache timing and MS_ASYNC flush

5 дней назад

Dockerfile.test

server : ctx-overflow swap policy for unified KV pool, prompt cache timing and MS_ASYNC flush

5 дней назад

docs : Minor cleanups (#19252)

8 месяцев назад

make : remove make in favor of CMake (#15449)

год назад

docs : update maintainer PRs link and regenerate AUTHORS (#28365)

20 дней назад

security : clarify about AI-generated reports (#26579)

2 месяца назад

build-xcframework.sh

metal : add metallib build support for xcframework (#28163)

23 дня назад

convert_hf_to_gguf.py

convert : add `--fuse-qkv` flag to fuse Q/K/V into QKV during HF-to-GGUF conversion (#22780)

18 дней назад

convert_hf_to_gguf_update.py

vocab : add ufakzeka pre-tokenizer (#29033)

6 дней назад

convert_llama_ggml_to_gguf.py

ci : switch from pyright to ty (#20826)

6 месяцев назад

convert_lora_to_gguf.py

convert : fix lora base model arch retrieval (#24621)

3 месяца назад

nix : update deprecated expressions (#28145)

17 дней назад

convert : partially revert PR #4818 (#5041)

3 года назад

py : lower numpy to 2.2.6 (#28654)

15 дней назад

pyrightconfig.json

ci : switch from pyright to ty (#20826)

6 месяцев назад

requirements.txt

`tool-call`: fix Qwen 2.5 Coder support, add micro benchmarks, support trigger patterns for lazy grammars (#12034)

2 года назад

py : lower numpy to 2.2.6 (#28654)

15 дней назад

README.md