Spekulative Dflash-2-Dekodierung von SamuelOliveirads · Pull Request #2345 · ikawrakow/ik_llama.cpp
github.com/ikawrakow/ik_llama.cpp/pull/2345
Details zur Berichterstattung
| Zuletzt aktualisiert | |
| Artikel gesamt | 1 |
Hauptthemen
Vorrichtung zum manuellen Ergreifen oder Bedienen eines Gegenstandes
Ähnliche Artikel
Previous
spec: add DSpark speculative decoding by wjinxu · Pull Request #25173 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/25173
Laguna M.1 GGUF-Unterstützung hinzufügen von empty-quiver · Pull Request #2003 · ikawrakow/ik_llama.cpp
github.com/ikawrakow/ik_llama.cpp/pull/2003
[Speculative decoding] feat: add EAGLE3 speculative decoding support by ruixiang63 · Pull Request #18039 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/18039
![[Speculative decoding] feat: add EAGLE3 speculative decoding support by ...](https://external-preview.redd.it/zRu_wUfy9Cp3Pp1kRAc-36MR3EQOz-NzxEdhKIKhhV0.png?width=320&crop=smart&auto=webp&s=ea4c0c659aa03218c535641bc82dfe86c6980667)
llama : Gemma4 MTP von am17an hinzufügen · Pull Request #23398 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/23398
beellama.cpp/docs/quickstart-qwen36-dflash.md at main · Anbeeld/beellama.cpp: DFlash & TurboQuant in llama.cpp mit bis zu 3x schnellerer Generierung und 7 ...
github.com/Anbeeld/beellama.cpp/blob/main/docs/quickstart-qwen36-dflash.md
GitHub - | Kaden-Schutt/hipfire: RDNA-native LLM-Inferenz-Engine in Rust.: RDNA-native LLM-Inferenz-Engine in Rust. . Beteilige dich an der Entwicklung von ...
github.com/Kaden-Schutt/hipfire
Unterstützung für Qwen 3.5 MTP (nur dichte Modelle) von SamuelOliveirads · Pull Request #1698 · ikawrakow/ik_llama.cpp
github.com/ikawrakow/ik_llama.cpp/pull/1698
GitHub - | humanrouter/ddtree-mlx: Baumbasierte spekulative Dekodierung für Apple Silicon (MLX). Etwa 10–15 % schneller als DFlash im Code, etwa 1 ...
github.com/humanrouter/ddtree-mlx
Feature: DFlash-Spekulative-Decodierungs-Engine hinzugefügt · jundot/omlx@28fab9f
github.com/jundot/omlx/commit/28fab9fc28f0c0013ffb307f3b21d30658ae1a72
GitHub - | Aryagm/dflash-mlx: Exakte spekulative Dekodierung auf Apple Silicon, basierend auf MLX.
github.com/Aryagm/dflash-mlx
Graph-Parallelisierung für Gemma4-31B von ikawrakow · Pull Request #1596 · ikawrakow/ik_llama.cpp
github.com/ikawrakow/ik_llama.cpp/pull/1596
Next