GitHub - RedToasty/llama.cpp_qts: Behebung des Problems mit --split-mode-Tensoren bei unterschiedlichen KV-Cache-Quantisierungstypen.
github.com/RedToasty/llama.cpp_qts
Details zur Berichterstattung
| Zuletzt aktualisiert | |
| Artikel gesamt | 1 |
Hauptthemen
Sprachmodell, das mit großen Mengen von Texten erstellt wurde
Ähnliche Artikel
Previous
llama : add adaptive single-graph MoE offload by pwilkin · Pull Request #30971 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/30971
Mehrspaltige Matrixverarbeitung auf Intel XMX-Engines, überarbeitet von budiony · Pull Request #29864 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/29864
GitHub – dhia528/llama-android: „llama.cpp“ auf Android mit nativer Chat-Benutzeroberfläche und OpenAI-kompatibler API ausführen
github.com/dhia528/llama-android
CUDA: Schnelleres MMVQ für niedrigbitige Datentypen von am17an · Pull Request #30517 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/30517
RPC: `-sm tensor` von am17an hinzugefügt · Pull Request #26610 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/26610
GitHub - | mihailescu2m/llama.cpp: LLM-Inferenz in C/C++: LLM-Inferenz in C/C++. Beteilige dich an der Entwicklung von mihailescu2m/llama.cpp ...
github.com/mihailescu2m/llama.cpp
GitHub - | oussemah/llama.cpp at moe-cache-ousemma: LLM-Inferenz in C/C++. Beteilige dich an der Entwicklung von oussemah/llama.cpp, indem du ein Konto auf ...
github.com/oussemah/llama.cpp/tree/moe-cache-ousemma
llama: lfm2/lfm2moe: Aktiviert die Tensoraufteilung durch cdanis · Pull Request #26993 · ggml.org/llama.cpp
github.com/ggml-org/llama.cpp/pull/26993
[FR] GGML_CUDA_FA_ALL_QUANTS als Standard festlegen oder Laufzeitwarnung für fehlende quantisierte FA-Kernel hinzufügen · Problem #24485 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/issues/24485
![[FR] GGML_CUDA_FA_ALL_QUANTS als Standard festlegen oder Laufzeitwarnung ...](https://external-preview.redd.it/fQ-rD-FxJifEkPRA4uIjYiQj4j6NDMBuClhBcCdtgyY.png?width=320&crop=smart&auto=webp&s=9cd07580aac41a60a8a8120902fd1e9922c8f985)
GitHub - | fewtarius/CachyLLama: LLM-Inferenz in C/C++: LLM-Inferenz in C/C++. Beteilige dich an der Entwicklung von fewtarius/CachyLLama ...
github.com/fewtarius/CachyLLama
Was stimmt nicht mit der Release-Seite von llama.cpp?: LLM-Inferenz in C/C++. Beteiligen Sie sich an der Entwicklung von ggml-org/llama.cpp ...
github.com/ggml-org/llama.cpp/releases
ggml: Backend-unabhängiger Tensor-Parallelismus (experimentell) von JohannesGaessler · Pull Request #19378 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/19378
kv-cache: Unterstützung der Aufmerksamkeitsrotation für heterogene iSWA von ggerganov · Pull Request #21513 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/21513
TurboQuant - | Extreme KV Cache Quantization · ggml-org/llama.cpp · Discussion #20969
github.com/ggml-org/llama.cpp/discussions/20969
ggml: Unterstützung für Q1_0 1-Bit-Quantisierung (CPU) hinzugefügt von khosravipasha · Pull Request #21273 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/21273
(revert) kv-cache : SWA-KV-Cache nicht quantisieren von ggerganov · Pull Request #21332 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/21332
llama : rotate activations for better quantization by ggerganov · Pull Request #21038 · ggml.org/llama.cpp
github.com/ggml-org/llama.cpp/pull/21038
GitHub - cenconq25/delta-compress-llm: Nutzung der zeitlichen Kohärenz bei der LLM-Inferenz – Delta-Kodierung für KV-Cache-Kompression und ...
github.com/cenconq25/delta-compress-llm
Wie kann ich die GPU für den KV-Cache festlegen? Wie kann ich Expert-Tensoren auf eine bestimmte GPU auslagern? · ggml-org/llama.cpp · Diskussion #20642
github.com/ggml-org/llama.cpp/discussions/20642
ggml: Unterstützung für den NVFP4-Quantisierungstyp hinzugefügt von richarddd · Pull Request #19769 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/19769
Next