/

/

Обзор ДокументацияВойти

/

/

Аналитика

Безопасность

llama

Описание

LLM inference in C/C++

185.43 MiB

Лицензия

Политика безопасности

Правила участия

В избранном0

Языки

C++53,2%
C24,5%
Cuda7,3%
Python7%
Metal2,6%
Objective-C2,3%
Остальные3,1%

Сообщить о нарушении

Коммиты:

Georgi Gerganov

examples : flush log upon ctrl+c (#9559)

20 сен 2024, 11:46

Не верифицирован

20 сен 2024, 11:46d39e267

docker : fix missing binaries in full-cuda image (#9278)

2 года назад

common : reimplement logging (#9418)

2 года назад

common : reimplement logging (#9418)

2 года назад

vulkan : cmake integration (#8119)

2 года назад

arg : add env variable for parallel (#9513)

2 года назад

[SYCL]set context default value to avoid memory issue, update guide (#9476)

2 года назад

examples : flush log upon ctrl+c (#9559)

2 года назад

ggml : fix n_threads_cur initialization with one thread (#9538)

2 года назад

llama : support IBM Granite architecture (#9412)

2 года назад

server : match OAI structured output response (#9527)

2 года назад

llama : add llama_n_head() (#9512)

2 года назад

README: add graphic for matrix multiplication (#6881)

2 года назад

tests : re-enable tokenizer tests (#8611)

2 года назад

`build`: rename main → llama-cli, server → llama-server, llava-cli → llama-llava-cli, etc... (#7809)

2 года назад

llama : add Qwen support (#4281)

3 года назад

Refactor lora adapter support (#8332)

2 года назад

scripts : verify py deps at the start of compare (#9520)

2 года назад

llama : reorganize source code + improve CMake (#8006)

2 года назад

llama : use reserve/emplace_back in sampler_sample (#9534)

2 года назад

threadpool : skip polling for unused threads (#9461)

2 года назад

cuda : refactor into multiple files (#6269)

2 года назад

`build`: rename main → llama-cli, server → llama-server, llava-cli → llama-llava-cli, etc... (#7809)

2 года назад

common : Update stb_image.h to latest version (#9161)

2 года назад

cvector: fix CI + correct help message (#8064)

2 года назад

py : logging and flake8 suppression refactoring (#7081)

2 года назад

common : refactor arg parser (#9308)

2 года назад

llama : reorganize source code + improve CMake (#8006)

2 года назад

.pre-commit-config.yaml

convert.py : add python logging instead of print() (#6511)

2 года назад

authors : regen

2 года назад

cmake : do not hide GGML options + rename option (#9465)

2 года назад

CMakePresets.json

CMake fix: host for msvc compiler can only be x86 or x64 (#8624)

2 года назад

CONTRIBUTING.md

contributing : add note about write access

2 года назад

license : update copyright notice + add AUTHORS (#6405)

2 года назад

cmake : do not hide GGML options + rename option (#9465)

2 года назад

llama : move vocab, grammar and sampling into separate files (#8508)

2 года назад

llama : support OLMoE (#9462)

2 года назад

chore: Fix markdown warnings (#6625)

2 года назад

convert_hf_to_gguf.py

llama : support IBM Granite architecture (#9412)

2 года назад

convert_hf_to_gguf_update.py

py : add Phi-1.5/Phi-2 tokenizer (#9361)

2 года назад

convert_llama_ggml_to_gguf.py

py : fix wrong input type for raw_dtype in ggml to gguf scripts (#8928)

2 года назад

convert_lora_to_gguf.py

lora : raise error if lm_head is ignored (#9103)

2 года назад

flake.lock: Update (#9488)

2 года назад

build(nix): Package gguf-py (#5664)

2 года назад

convert : partially revert PR #4818 (#5041)

3 года назад

build(python): Package scripts with pip-0517 compliance

2 года назад

build(nix): Package gguf-py (#5664)

2 года назад

pyrightconfig.json

py : type-check all Python scripts with Pyright (#8341)

2 года назад

requirements.txt

Refactor lora adapter support (#8332)

2 года назад

README.md