Block-KV-Cache-Streaming: VRAM-Bindung im Long-Context über eine gemeinsame CUDA-Phasenarena von giveen · Pull Request #357 · TheTom/llama-cpp-turboquant
github.com/TheTom/llama-cpp-turboquant/pull/357
Details zur Berichterstattung
| Zuletzt aktualisiert | |
| Artikel gesamt | 1 |
Hauptthemen
gesamter durch die Grafikhardware nutzbare Speicher von Computern und Spielkonsolen
Vorrichtung zum manuellen Ergreifen oder Bedienen eines Gegenstandes
Ähnliche Artikel
Previous
GitHub - | hardenedlinux/SonicBoom: Beteilige dich an der Entwicklung von hardenedlinux/SonicBoom, indem du ein Konto auf GitHub erstellst.
github.com/hardenedlinux/SonicBoom
GitHub - | solvingSteve/Gevva0: Lokales System-0-Entscheidungsgateway, basierend auf Gemma 4. Direkte Logit-Bewertung, KV-Cache-Sequenzverzweigung und ...
github.com/solvingSteve/Gevva0
Feature: Unterstützung für den Import von qwen4exp (Qwen3.8-Flash-Next) aus dem Upstream-PR #27742 von giveen · Pull Request #324 · TheTom/llama-cpp-turboquant
github.com/TheTom/llama-cpp-turboquant/pull/324
kv-cache: Vermeidung von Kopien kv-Zellen von ggerganov · Pull Request #24277 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/24277
[PoC] server: support requantizing kv cache by wadealexc · Pull Request #24134 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/24134
![[PoC] server: support requantizing kv cache by wadealexc · Pull Request ...](https://external-preview.redd.it/Uwg2OuKYL_cyUNuDl_QbKE8QLJOJXgBPbR0_Jgg2eAo.png?width=320&crop=smart&auto=webp&s=e349140f70c63a9307fcb53420c133424145284f)
Asymmetrischer KV q8/q4-Cache zur Erhaltung der Präzision bei gleichzeitiger Reduzierung des Speicherverbrauchs · ggml-org/llama.cpp · Diskussion #23470
github.com/ggml-org/llama.cpp/discussions/23470
Was stimmt nicht mit der Release-Seite von llama.cpp?: LLM-Inferenz in C/C++. Beteiligen Sie sich an der Entwicklung von ggml-org/llama.cpp ...
github.com/ggml-org/llama.cpp/releases
GitHub - | ParmesanParty/llama.cpp: Spezialisierter Fork für (relativ) schnelle Single-GPU-Inferenz (in CUDA) mit großen MoE-Modellen ...
github.com/ParmesanParty/llama.cpp
GitHub - | ahb-sjsu/turboquant-pro: Einbettung und KV-Cache-Komprimierung für LLMs und Vektordatenbanken. PCA-Matryoshka + TurboQuant: 27-fache Komprimierung ...
github.com/ahb-sjsu/turboquant-pro
TurboQuant - | Extreme KV Cache Quantization · ggml-org/llama.cpp · Discussion #20969
github.com/ggml-org/llama.cpp/discussions/20969
GitHub - | arte-fact/llamacpp-gfx-906-turbo: Beteilige dich an der Entwicklung von arte-fact/llamacpp-gfx-906-turbo, indem du ein Konto auf GitHub erstellst.
github.com/arte-fact/llamacpp-gfx-906-turbo
GitHub – TheTom/llama-cpp-turboquant: LLM-Inferenz in C/C++: LLM-Inferenz in C/C++. Tragen Sie zur Entwicklung von TheTom/llama-cpp-turboquant bei ...
github.com/TheTom/llama-cpp-turboquant
GitHub - | joshuagamboa/turboquant-apple-silicon: Hochleistungsfähige Rust-Integration für aggressive KV-Cache-Quantisierung auf Apple Silicon GPUs (Metal) ...
github.com/joshuagamboa/turboquant-apple-silicon
GitHub - | MartinCrespoC/QuantumLeap---Llama.cpp-TurboQuant: 🚀 Führen Sie jedes LLM auf jeder Hardware aus. 130 % schnellere MoE-Inferenz mit ExpertFlow + ...
github.com/MartinCrespoC/QuantumLeap---Llama.cpp-TurboQuant
GitHub - | quantumaikr/TurboQuant.cpp: turboquant.cpp: turboquant.cpp. Beteilige dich an der Entwicklung von quantumaikr/TurboQuant.cpp, indem du ein Konto auf ...
github.com/quantumaikr/TurboQuant.cpp
GitHub – SharpAI/SwiftLM: ⚡ Nativer Swift-LLM-Inferenzserver für Apple Silicon. OpenAI-kompatible API, SSD-Streaming für Modelle mit über 100 Milliarden MoE ...
github.com/SharpAI/SwiftLM
Next