llama: model_loader: TENSOR_READ_LAZY von ngxson hinzugefügt · Pull Request #27794 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/27794
Details zur Berichterstattung
| Zuletzt aktualisiert | |
| Artikel gesamt | 1 |
Hauptthemen
Vorrichtung zum manuellen Ergreifen oder Bedienen eines Gegenstandes
Ähnliche Artikel
Previous
AVX2: Beschleunigung der Verarbeitung großer Batchgrößen von IQ-Modellen von bartowski1182 · Pull Request #27402 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/27402
[SYCL] Flash Attention mit XMX-Engine über die oneDNN Graph API (SDPA) auf KV f16; Qwen3.6-27b-Q8_0: Vorbefüllung um den Faktor 1 ...
github.com/ggml-org/llama.cpp/pull/25222
![[SYCL] Flash Attention mit XMX-Engine über die oneDNN Graph API (SDPA) auf ...](https://external-preview.redd.it/PiobGTa9Ar4n2XTY_w1Evrk8m93zn0TPQ5kvPfsngUI.png?width=320&crop=smart&auto=webp&s=a1eb6e290299b771822d20fb4503f5fec1d0fca6)
Spezifikation: Unterstützung für eagle3 für qwen3.5 & 3.6 von ruixiang63 · Pull Request #24593 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/24593
Qwen3.6 + MTP: Die berechnete Kontextgröße ist kleiner, wenn ich `--spec-draft-type-* q4_0` verwende. Ist das normal? · ggml-org/llama.cpp · Diskussion #24102
github.com/ggml-org/llama.cpp/discussions/24102
mtmd: Unterstützung für den Gemma 4 Audio-Conformer-Encoder hinzugefügt von stephencox-ict · Pull Request #21421 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/21421
ggml: Vorabruf von Tensor-Überschreibungen durch am17an · Pull Request #21067 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/21067
GitHub - | peva3/turboquant-h2o-streamingllm: Tragen Sie zur Entwicklung von peva3/turboquant-h2o-streamingllm bei, indem Sie ein Konto auf GitHub erstellen.
github.com/peva3/turboquant-h2o-streamingllm
GitHub - | ikawrakow/ik_llama.cpp: llama.cpp-Fork mit zusätzlichen SOTA-Quanten und verbesserter Performance
github.com/ikawrakow/ik_llama.cpp
Version 4.1 · oobabooga/text-generation-webui: Die ursprüngliche lokale LLM-Oberfläche. Text, Bild, Tool-Aufruf, Schulung und mehr. 100 % offline. - | Release v4 ...
github.com/oobabooga/text-generation-webui/releases/tag/v4.1
Vulkan: Unterstützung für GATED_DELTA_NET-Operationen von ProgenyAlpha hinzugefügt · Pull Request #20334 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/20334
metal: GDN-Kernel von ggerganov hinzugefügt · Pull Request #20361 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/20361
GitHub - | RustRunner/DGX-Llama-Cluster: Skripte zum Einrichten eines llama.cpp-Clusters mit zwei Knoten auf NVIDIA DGX Spark (GB10)-Hardware.
github.com/RustRunner/DGX-Llama-Cluster
[Problem]: Leistungseinbußen bei llama.cpp in ROCm 7+ · Problem #2865 · ROCm/rocm-systems
github.com/ROCm/rocm-systems/issues/2865
GitHub - | lucasjinreal/Crane: Eine rein in Rust geschriebene Inferenz-Engine für LLM, VLM, VLA, TTS und OCR, basierend auf Candle und Rust ...
github.com/lucasjinreal/Crane
Unterstützung für Tiny-Aya-Modelle hinzugefügt von saurabhdash2512 · Pull Request #19611 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/19611
Next