/

/

koboldcpp

Обзор ДокументацияВойти

/

/

koboldcpp

Аналитика

Безопасность

koboldcpp

Публичный

Описание

A simple one-file way to run various GGML and GGUF models with KoboldAI's UI

116.25 MiB

Лицензия

Политика безопасности

В избранном1

Языки

C++78,5%
C15,6%
Cuda2,5%
Python1,9%
Metal0,6%
Objective-C0,5%
Остальные0,4%

Сообщить о нарушении

Коммиты:

Concedo

don't show embedded sdui if no model

11 май 2024, 03:56

11 май 2024, 03:56702be65

Stop forcing concedo_experimental in CI (#833)

2 года назад

Merge branch 'upstream' into concedo_experimental

2 года назад

Merge branch 'upstream' into concedo_experimental

2 года назад

Merge commit '8c570c9496212073079476651c7517c02581101f' into concedo_experimental

2 года назад

Merge commit '8c570c9496212073079476651c7517c02581101f' into concedo_experimental

2 года назад

gguf-py : add special token modification capability (#7166)

2 года назад

Revert "clblast up ver"

3 года назад

Revert "clblast up ver"

3 года назад

README: add graphic for matrix multiplication (#6881)

2 года назад

Merge branch 'upstream' into concedo_experimental

2 года назад

fixed stableui btn (+4 squashed commit)

2 года назад

Merge commit '8c570c9496212073079476651c7517c02581101f' into concedo_experimental

2 года назад

Merge commit '8c570c9496212073079476651c7517c02581101f' into concedo_experimental

2 года назад

llama.swiftui : add bench functionality (#4483)

3 года назад

Improve usability of --model-url & related flags (#6930)

2 года назад

3 года назад

Merge branch 'upstream' into concedo

2 года назад

switched back to clinfo since it's possibly more cross platform and can get memory vals easily

3 года назад

cmake : fix typo (#7151)

2 года назад

update license, added backwards compatibility with both ggml model formats, fixed context length issues.

3 года назад

MIT_LICENSE_GGML_LLAMACPP_ONLY

rename koboldcpp.dll to koboldcpp_default.dll

3 года назад

Introduction of CUDA Graphs to LLama.cpp (#6766)

2 года назад

include opencl dll

3 года назад

readme : add scheduled server workflow status badge

2 года назад

Remote-Link.cmd

improved remotelink cmd, fixed lib unload, updated class.py

3 года назад

chore: Fix markdown warnings (#6625)

2 года назад

not working merge

3 года назад

replace sdconfig and hordeconfig

2 года назад

Revert "clblast up ver"

3 года назад

replace sdconfig and hordeconfig

2 года назад

convert-hf-to-gguf-update.py

llama3 custom regex split (#6965)

2 года назад

convert-hf-to-gguf.py

convert-hf : save memory with lazy evaluation (#7075)

2 года назад

convert-llama-ggml-to-gguf.py

convert.py : add python logging instead of print() (#6511)

2 года назад

convert-lora-to-ggml.py

py : logging and flake8 suppression refactoring (#7081)

2 года назад

convert-persimmon-to-gguf.py

convert.py : add python logging instead of print() (#6511)

2 года назад

convert-hf : save memory with lazy evaluation (#7075)

2 года назад

cudart64_110.dll

updated runtimes to henky version

3 года назад

cudart64_12.dll

add cu12 ci for windows

2 года назад

environment.yaml

CUDA 12 support for the Conda Runtime (#680)

3 года назад

added more stats in perf

2 года назад

tidy up and refactor code to support old flags

2 года назад

ggml : fix calloc argument ordering. (#6820)

2 года назад

llama : add pipeline parallelism support (#6017)

2 года назад

ggml-backend-impl.h

backend : offload large batches to GPU (#6083)

2 года назад

Reset schedule earlier to allow overlap with ggml graph computation on device (#6933)

2 года назад

backend : fix typo in scheduler documentation (ggml/781)

2 года назад

[SYCL] Disable iqx on windows as WA (#6435)

2 года назад

Merge branch 'upstream' into concedo_experimental

2 года назад

Merge branch 'upstream' into concedo_experimental

2 года назад

ggml : introduce bfloat16 support (#6412)

2 года назад

ggml-kompute.cpp

ggml : add Flash Attention (#5021)

2 года назад

Nomic Vulkan backend (#4456)

3 года назад

metal : add debug capture backend function (ggml/694)

3 года назад

Merge branch 'upstream' into concedo_experimental

2 года назад

ggml-metal.metal

metal : fix unused warning

2 года назад

ggml : remove src0 and src1 from ggml_tensor and rename opt to src (#2178)

3 года назад

mpi : add support for distributed inference via MPI (#2099)

3 года назад

ggml-opencl.cpp

Merge commit '8c570c9496212073079476651c7517c02581101f' into concedo_experimental

2 года назад

Merge branch 'master' into concedo_experimental

3 года назад

Merge branch 'upstream' into concedo_experimental

2 года назад

Merge branch 'upstream' into concedo

2 года назад

Minor arithmetic improvement to mmvq wrapper kernel (#7172)

2 года назад

[SYCL] offload op (#6217)

2 года назад

ggml-vulkan-shaders.hpp

Vulkan Bugfixes and Improvements (#7084)

2 года назад

ggml-vulkan.cpp

Vulkan Bugfixes and Improvements (#7084)

2 года назад

Vulkan k-quant mmq and ggml-backend offload functionality (#6155)

2 года назад

Merge branch 'upstream' into concedo_experimental

2 года назад

Merge branch 'upstream' into concedo_experimental

2 года назад

ggml_vk_generate_shaders.py

Vulkan Bugfixes and Improvements (#7084)

2 года назад

Merge branch 'vulkan_test' into concedo_experimental

3 года назад

gpttype_adapter.cpp

tidy up and refactor code to support old flags

2 года назад

replace sdconfig and hordeconfig

2 года назад

fixed stableui btn (+4 squashed commit)

2 года назад

tidy up and refactor code to support old flags

2 года назад

don't show embedded sdui if no model

2 года назад

fixed stableui btn (+4 squashed commit)

2 года назад

libopenblas.dll

integrated libopenblas for greatly accelerated prompt processing. Windows binaries are included - feel free to build your own or to build for other platforms, but that is beyond the scope of this repo. Will fall back to non-blas if libopenblas is removed.

3 года назад

Merge commit '8c570c9496212073079476651c7517c02581101f' into concedo_experimental

2 года назад

Merge branch 'upstream' into concedo_experimental

2 года назад

make_pyinstaller.bat

fixed stableui btn (+4 squashed commit)

2 года назад

make_pyinstaller.sh

fixed stableui btn (+4 squashed commit)

2 года назад

make_pyinstaller_cuda.bat

fixed stableui btn (+4 squashed commit)

2 года назад

make_pyinstaller_cuda12.bat

fixed stableui btn (+4 squashed commit)

2 года назад

model_adapter.cpp

fix for mamba processing

2 года назад

model_adapter.h

fix for mamba processing

2 года назад

updated runtimes to henky version

3 года назад

msvcp140_codecvt_ids.dll

test workflow (+9 squashed commit)

2 года назад

convert : partially revert PR #4818 (#5041)

3 года назад

fixed some build errors on linux, changed icon resolution, added more error printing

3 года назад

wip on unified cublas integration, add all the small libraries but exclude the large ones

3 года назад

pyrightconfig.json

convert-hf : save memory with lazy evaluation (#7075)

2 года назад

requirements.txt

llama : fix BPE pre-tokenization (#6920)

2 года назад

rwkv_vocab.embd

updated kobold lite, work on rwkv, added exe path to model load params, added launch parameter

3 года назад

rwkv_world_vocab.embd

integrated world tokenizer for RWKV

3 года назад

sgemm : AVX Q4_0 and Q8_0 (#6891)

2 года назад

llamafile : use 64-bit integers in sgemm (#6928)

2 года назад

simpleclinfo.cpp

windows: added simpleclinfo, which helps determine clblast platform and device on windows

3 года назад

unicode-data.cpp

llama3 custom regex split (#6965)

2 года назад

llama3 custom regex split (#6965)

2 года назад

llama3 custom regex split (#6965)

2 года назад

llama3 custom regex split (#6965)

2 года назад

vcruntime140.dll

updated runtimes to henky version

3 года назад

vcruntime140_1.dll

updated runtimes to henky version

3 года назад

Merge branch 'vulkan_test' into concedo_experimental

3 года назад

switched back to clinfo since it's possibly more cross platform and can get memory vals easily

3 года назад

README.md