ggml: Backend-unabhängiger Tensor-Parallelismus (experimentell) von JohannesGaessler · Pull Request #19378 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/19378
Details zur Berichterstattung
| Zuletzt aktualisiert | |
| Artikel gesamt | 3 |
Hauptthemen
Vorrichtung zum manuellen Ergreifen oder Bedienen eines Gegenstandes
Ähnliche Artikel
Previous
webgpu : Q2_0-Unterstützung von teddygood hinzugefügt · Pull Request #30914 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/30914
Unterstützung für maion-coder arch von mailkv23 hinzugefügt · Pull Request #29778 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/29778
common : add --spec-draft-n-ubatch by ggerganov · Pull Request #30459 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/30459
RPC: `-sm tensor` von am17an hinzugefügt · Pull Request #26610 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/26610
Release b11003 · ggml-org/llama.cpp: LLM-Inferenz in C/C++. Beteiligen Sie sich an der Entwicklung von ggml-org/llama.cpp, indem Sie ein Konto auf GitHub ...
github.com/ggml-org/llama.cpp/releases/tag/b11003
CUDA/HIP: Flash Attention Tuning (gfx1201) von pwilkin · Pull Request #28102 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/28102
llama: lfm2/lfm2moe: Aktiviert die Tensoraufteilung durch cdanis · Pull Request #26993 · ggml.org/llama.cpp
github.com/ggml-org/llama.cpp/pull/26993
Erstes ET-Backend von marty1885 · Pull Request #24179 · ggml-org/llama.cpp: LLM-Inferenz in C/C++. Beteilige dich an der Entwicklung von ggml-org/llama.cpp ...
github.com/ggml-org/llama.cpp/pull/24179
vulkan: TP-Implementierung durch pwilkin · Pull Request #25051 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/25051
sycl : Portierung von Multi-Column MMVQ vom CUDA-Backend (~45 % spekulative Dekodierungsbeschleunigung auf Intel Arc) von masonmilby · Pull Request #21845 · ...
github.com/ggml-org/llama.cpp/pull/21845
Sonstiger Fehler: Erschöpfung des Meta-Backend-Pools `ggml_context` bei Verwendung von `--split-mode tensor` · Problem #22404 · ggml.org/llama.cpp
github.com/ggml-org/llama.cpp/issues/22404
Umstellung auf Backend-Sampling für den MTP-Entwurfspfad von gaugarg-nv · Pull Request #23287 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/23287
Was stimmt nicht mit der Release-Seite von llama.cpp?: LLM-Inferenz in C/C++. Beteiligen Sie sich an der Entwicklung von ggml-org/llama.cpp ...
github.com/ggml-org/llama.cpp/releases
ggml-cuda: Unterstützung für flash-attn für DKQ=320/DV=256 mit ncols2=32 hinzugefügt (… von lnigam · Pull Request #22286 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/22286
CUDA: Reduzierung des MMQ-Stream-k-Overheads von JohannesGaessler · Pull Request #22298 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/22298
llama : rotate activations for better quantization by ggerganov · Pull Request #21038 · ggml.org/llama.cpp
github.com/ggml-org/llama.cpp/pull/21038
ggml: Vorabruf von Tensor-Überschreibungen durch am17an · Pull Request #21067 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/21067
Vulkan: Unterstützung für GATED_DELTA_NET-Operationen von ProgenyAlpha hinzugefügt · Pull Request #20334 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/20334
Modelle: Optimierung des qwen3next-Graphen durch ggerganov · Pull Request #19375 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/19375
[Modell] Qwen3.5 dense und MoE-Unterstützung (keine Vision) von pwilkin · Pull Request #19435 · ggml.org/llama.cpp
github.com/ggml-org/llama.cpp/pull/19435
![[Modell] Qwen3.5 dense und MoE-Unterstützung (keine Vision) von pwilkin · ...](https://external-preview.redd.it/LP9lWJIkvOFwEJy7i2edxqBM2iBmROue3pUEdiXyxYg.png?width=320&crop=smart&auto=webp&s=5047d4820eeaabac9c913a090edcfe1c449b2979)
Next