[Speculative decoding] feat: add EAGLE3 speculative decoding support by ruixiang63 · Pull Request #18039 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/18039
![[Speculative decoding] feat: add EAGLE3 speculative decoding support by ...](https://external-preview.redd.it/zRu_wUfy9Cp3Pp1kRAc-36MR3EQOz-NzxEdhKIKhhV0.png?width=320&crop=smart&auto=webp&s=ea4c0c659aa03218c535641bc82dfe86c6980667)
Details zur Berichterstattung
| Zuletzt aktualisiert | |
| Artikel gesamt | 1 |
Hauptthemen
Vorrichtung zum manuellen Ergreifen oder Bedienen eines Gegenstandes
Ähnliche Artikel
Previous
mtmd: Videoeingangsunterstützung für die LFM3-Modellfamilie aktivieren von tdakhran · Pull Request #31283 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/31283
nemotron: Unterstützung für nicht standardmäßige GQA, BPE-Tokenizer und domyn-small-Pre-Type von martin-cimmino · Pull Request #23343 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/23343
Modell: Unterstützung für Kolibri-1 (Aleph-Alpha) von riteme hinzufügen · Pull Request #30673 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/30673
common : add --spec-draft-n-ubatch by ggerganov · Pull Request #30459 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/30459
metal : few-row MMA mat-mul and batched copies for speculative decoding by pratiknarola-t · Pull Request #29869 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/29869
DeepseekV4 MTP + DSpark von am17an · Pull Request #25784 · ggml-org/llama.cpp: LLM-Inferenz in C/C++. Beteiligen Sie sich an der Entwicklung von ggml-org/llama ...
github.com/ggml-org/llama.cpp/pull/25784
spec: add DSpark speculative decoding by wjinxu · Pull Request #25173 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/25173
Modell: Hy3 (hy_v3)-Unterstützung mit spekulativer MTP-Dekodierung hinzugefügt von satindergrewal · Pull Request #25395 · ggml.org/llama.cpp
github.com/ggml-org/llama.cpp/pull/25395
sycl : Portierung von Multi-Column MMVQ vom CUDA-Backend (~45 % spekulative Dekodierungsbeschleunigung auf Intel Arc) von masonmilby · Pull Request #21845 · ...
github.com/ggml-org/llama.cpp/pull/21845
llama : Gemma4 MTP von am17an hinzufügen · Pull Request #23398 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/23398
llama: MTP-Bereinigung von ggerganov · Pull Request #23269 · ggml-org/llama.cpp: LLM-Inferenz in C/C++. Beteiligen Sie sich an der Entwicklung von ggml-org/llama ...
github.com/ggml-org/llama.cpp/pull/23269
llama: Vermeidung des Kopierens von Logits während der Prompt-Dekodierung in MTP von am17an · Pull Request #23198 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/23198
ggml: Backend-unabhängiger Tensor-Parallelismus (experimentell) von JohannesGaessler · Pull Request #19378 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/19378
ggml: Unterstützung für Q1_0 1-Bit-Quantisierung (CPU) hinzugefügt von khosravipasha · Pull Request #21273 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/21273
llama : rotate activations for better quantization by ggerganov · Pull Request #21038 · ggml.org/llama.cpp
github.com/ggml-org/llama.cpp/pull/21038
Modelle: Optimierung des qwen3next-Graphen durch ggerganov · Pull Request #19375 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/19375
Spezifikation: ngram-mod von ggerganov hinzufügen · Pull Request #19164 · ggml.org/llama.cpp
github.com/ggml-org/llama.cpp/pull/19164
Next