Fehler mit dem Prompt-Cache, Stoppen, Thread-Wechsel · Problem #19760 · ggml.org/llama.cpp
github.com/ggml-org/llama.cpp/issues/19760
Details zur Berichterstattung
| Zuletzt aktualisiert | |
| Artikel gesamt | 1 |
Hauptthemen
schmales, längliches Loch oder eine Vertiefung, die nur zur Aufnahme dünner Gegenstände dient
Ähnliche Artikel
Previous
qwen: Zusammenführen von Tensoren bei Konvertierung von am17an · Pull Request #31028 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/31028
NVIDIAs Nemotron 3.5 Super VL mit Post-Training übertrifft Claude Opus 5 und GPT-6.1 Sol bei spezialisierten Aufgaben-Benchmarks.
venturebeat.com/technology/nvidias-new-open-nemotron-3-5-super-vl-with-post-training-beats-claude-opus-5-gpt-6-1-sol-on-specialized-task-benchmarks
AVX2: Beschleunigung der Verarbeitung großer Batchgrößen von IQ-Modellen von bartowski1182 · Pull Request #27402 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/27402
[FR] GGML_CUDA_FA_ALL_QUANTS als Standard festlegen oder Laufzeitwarnung für fehlende quantisierte FA-Kernel hinzufügen · Problem #24485 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/issues/24485
![[FR] GGML_CUDA_FA_ALL_QUANTS als Standard festlegen oder Laufzeitwarnung ...](https://external-preview.redd.it/fQ-rD-FxJifEkPRA4uIjYiQj4j6NDMBuClhBcCdtgyY.png?width=320&crop=smart&auto=webp&s=9cd07580aac41a60a8a8120902fd1e9922c8f985)
ggml-cpu/ops: Vektorisierung der Flash-Attention-V-Cache-Konvertierung von F16 zu F32 von jinzihao · Pull Request #26947 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/26947
Modell: Unterstützung für MTP in GLM-4.5-Air von jacekpoplawski · Pull Request #26534 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/26534
GitHub - | fewtarius/CachyLLama: LLM-Inferenz in C/C++: LLM-Inferenz in C/C++. Beteilige dich an der Entwicklung von fewtarius/CachyLLama ...
github.com/fewtarius/CachyLLama
Server: Anzeige der Generierungsgeschwindigkeit der letzten 5 Sekunden hinzugefügt (von akx) · Pull Request #24291 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/24291
mtp: Unterstützung für gemma-4 E2B- und E4B-Assistenten von max-krasnyansky · Pull Request #24282 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/24282
Server: Korrektur der Checkpoint-Erstellung durch jacekpoplawski · Pull Request #22929 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/22929
llama: Vermeidung des Kopierens von Logits während der Prompt-Dekodierung in MTP von am17an · Pull Request #23198 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/23198
Was stimmt nicht mit der Release-Seite von llama.cpp?: LLM-Inferenz in C/C++. Beteiligen Sie sich an der Entwicklung von ggml-org/llama.cpp ...
github.com/ggml-org/llama.cpp/releases
kv-cache: Unterstützung der Aufmerksamkeitsrotation für heterogene iSWA von ggerganov · Pull Request #21513 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/21513
llama : rotate activations for better quantization by ggerganov · Pull Request #21038 · ggml.org/llama.cpp
github.com/ggml-org/llama.cpp/pull/21038
Server: Spekulatives Checkpointing von srogmann · Pull Request #19493 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/19493
Was ist der Unterschied zwischen „batch-size” und „ubatch-size”? · ggml-org/llama.cpp · Diskussion #6328
github.com/ggml-org/llama.cpp/discussions/6328
Evaluierungsfehler: Erzwingen der vollständigen Neuverarbeitung der Eingabeaufforderung in Qwen3-Coder-Next · Problem Nr. 19394 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/issues/19394
Hybridmodell-Cache: `--checkpoint-every-nb` hinzugefügt von pwilkin · Pull Request #20087 · ggml.org/llama.cpp
github.com/ggml-org/llama.cpp/pull/20087
Spezifikation: ngram-mod von ggerganov hinzufügen · Pull Request #19164 · ggml.org/llama.cpp
github.com/ggml-org/llama.cpp/pull/19164
Next