/

/

Обзор ДокументацияВойти

/

/

Аналитика

Безопасность

llama.cpp

Описание

LLM inference in C/C++

115.9 MiB

В избранном0

Языки

C++61,4%
C20,7%
Cuda5,7%
Python4,3%
Metal3,5%
Objective-C1,9%
Остальные2,5%

Сообщить о нарушении

Коммиты:

Douglas Hanley
llama : allow for user specified embedding pooling type (#5849)
03 мар 2024, 13:40
Не верифицирован
03 мар 2024, 13:40475df1d

build(nix): Introduce flake.formatter for `nix fmt` (#5687)

2 года назад

ci : schedule slow server tests only on Release or on demand (#5839)

2 года назад

ci : reduce 3b ppl chunks to 1 to avoid timeout (#5771)

2 года назад

cmake : MSVC instruction detection (fixed up #809) (#3923)

3 года назад

llama : allow for user specified embedding pooling type (#5849)

2 года назад

docs : add llama-star arch idea

2 года назад

server : init http requests thread pool with --parallel if set (#5836)

2 года назад

gguf-dump : support i-quants (#5841)

2 года назад

Fix some documentation typos/grammar mistakes (#4032)

3 года назад

Nomic Vulkan backend (#4456)

2 года назад

kompute-shaders

Nomic Vulkan backend (#4456)

2 года назад

media : add logos and banners

3 года назад

gpt2 : Add gpt2 architecture integration (#4555)

2 года назад

ggml : add mmla kernels for quantized GEMM (#4966)

2 года назад

llama : add Qwen support (#4281)

2 года назад

convert-hf-to-gguf : require einops for InternLM2ForCausalLM (#5792)

2 года назад

scripts : add pod-llama.sh

2 года назад

swift : package no longer use ggml dependency (#5465)

2 года назад

IQ4_XS: a 4.25 bpw quantization (#5747)

2 года назад

fix some warnings from gcc and clang-tidy (#3038)

3 года назад

docker : ignore Git files (#3314)

3 года назад

Nomic Vulkan backend (#4456)

2 года назад

llama.swiftui : add bench functionality (#4483)

2 года назад

Add support for BERT embedding models (#5423)

2 года назад

gitignore : update for CLion IDE (#5544)

2 года назад

Nomic Vulkan backend (#4456)

2 года назад

.pre-commit-config.yaml

hooks : setting up flake8 and pre-commit hooks (#1681)

3 года назад

cmake : fix compilation for Android armeabi-v7a (#5702)

2 года назад

Add LICENSE (#21)

3 года назад

Makefile: use variables for cublas (#5689)

2 года назад

swift : package no longer use ggml dependency (#5465)

2 года назад

Support multiple GPUs (split mode) on SYCL backend (#5806)

2 года назад

convert : automatically fall back to HfVocab if tokenizer.model doesn't exist (#5821)

2 года назад

server : support llava 1.6 (#5553)

2 года назад

cov : disable comment in PRs (#2989)

3 года назад

convert-hf-to-gguf.py

llama : allow for user specified embedding pooling type (#5849)

2 года назад

convert-llama-ggml-to-gguf.py

convert : automatically fall back to HfVocab if tokenizer.model doesn't exist (#5821)

2 года назад

convert-lora-to-ggml.py

add safetensors support to convert-lora-to-ggml.py (#5062)

2 года назад

convert-persimmon-to-gguf.py

py : fix persimmon `n_rot` conversion (#5460)

2 года назад

convert : automatically fall back to HfVocab if tokenizer.model doesn't exist (#5821)

2 года назад

flake.lock: Update (#5842)

2 года назад

build(nix): Introduce flake.formatter for `nix fmt` (#5687)

2 года назад

ggml-alloc : apply ggml/731

2 года назад

sync : ggml (#5452)

2 года назад

ggml-backend-impl.h

Introduce backend GUIDs (ggml/743)

2 года назад

Introduce backend GUIDs (ggml/743)

2 года назад

Introduce backend GUIDs (ggml/743)

2 года назад

ggml : IQ3_S improvements (#5829)

2 года назад

ggml : introduce GGML_CALL function annotation (#4850)

2 года назад

ggml : always define ggml_fp16_t as uint16_t (#5666)

2 года назад

ggml-kompute.cpp

Introduce backend GUIDs (ggml/743)

2 года назад

Nomic Vulkan backend (#4456)

2 года назад

metal : add debug capture backend function (ggml/694)

2 года назад

Introduce backend GUIDs (ggml/743)

2 года назад

ggml-metal.metal

ggml : IQ3_S improvements (#5829)

2 года назад

ggml : remove src0 and src1 from ggml_tensor and rename opt to src (#2178)

3 года назад

mpi : add support for distributed inference via MPI (#2099)

3 года назад

ggml-opencl.cpp

code : normalize enum names (#5697)

2 года назад

Add OpenCL add kernel (#5151)

2 года назад

ggml : fix IQ3_S AVX implementation (#5834)

2 года назад

ggml : make i-quants work with super-blocks of 64 (CPU,Metal) (#5760)

2 года назад

Support multiple GPUs (split mode) on SYCL backend (#5806)

2 года назад

Support multiple GPUs (split mode) on SYCL backend (#5806)

2 года назад

ggml-vulkan-shaders.hpp

Vulkan Intel Fixes, Optimizations and Debugging Flags (#5301)

2 года назад

ggml-vulkan.cpp

ggml-vulkan: fix VULKAN_CHECK_RESULTS flag, which was previously broken (#5813)

2 года назад

Basic Vulkan Multi-GPU implementation (#5321)

2 года назад

add google magika inference example (ggml/748)

2 года назад

Introduce backend GUIDs (ggml/743)

2 года назад

ggml_vk_generate_shaders.py

vulkan: Set limit for task concurrency (#5427)

2 года назад

llama : allow for user specified embedding pooling type (#5849)

2 года назад

llama : allow for user specified embedding pooling type (#5849)

2 года назад

convert : partially revert PR #4818 (#5041)

2 года назад

requirements.txt

python : add check-requirements.sh and GitHub workflow (#4585)

2 года назад

unicode : switch to multimap based nfd_map (#5799)

2 года назад

README.md