Ähnliche Artikel
Previous
GitHub – heterodoxin/AbliteratedOutTheBox bei strata: Ein Fork von llama.cpp, der bei der Inferenz löscht. Tragen Sie zur Entwicklung von ...
github.com/heterodoxin/AbliteratedOutTheBox/tree/strata
qwen4exp: QSA-Auswahl ohne kq_mask erstellen von sanmai · Pull Request #30965 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/30965

llama : add adaptive single-graph MoE offload by pwilkin · Pull Request #30971 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/30971
llama: Neuen fusionierten Operator für QSA-Maske von am17an erstellen · Pull Request #30640 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/30640

webgpu : Q2_0-Unterstützung von teddygood hinzugefügt · Pull Request #30914 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/30914

Modelle: Flint-Modell (FlintForCausalLM) von alexey-rsi hinzugefügt · Pull Request #30928 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/30928

GitHub – achyudh/llama.cpp: LLM-Inferenz in C/C++: LLM-Inferenz in C/C++. Tragen Sie zur Entwicklung von achyudh/llama.cpp bei, indem Sie ein Konto auf GitHub ...
github.com/achyudh/llama.cpp

CUDA: Schnelleres MMVQ für niedrigbitige Datentypen von am17an · Pull Request #30517 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/30517

CPU: AVX2-Tiled-Akkumulatoren durch Trivalik zusammenfassen · Pull Request #30296 · ggml.org/llama.cpp
github.com/ggml-org/llama.cpp/pull/30296
common : add --spec-draft-n-ubatch by ggerganov · Pull Request #30459 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/30459

GitHub - | gjabdelnoor/Day1DeepseekV4.1-CPU: CPU-only llama.cpp-Fork mit DeepSeek V4.1 Flash-Laufzeitumgebung für Server mit großem DDR4-RAM und ohne nutzbare ...
github.com/gjabdelnoor/Day1DeepseekV4.1-CPU
Modell: Kimi-K3-Textmodell von pwilkin hinzufügen · Pull Request #26185 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/26185

Release b9978 · ggml-org/llama.cpp: LLM-Inferenz in C/C++. Beteiligen Sie sich an der Entwicklung von ggml-org/llama.cpp, indem Sie ein Konto auf GitHub ...
github.com/ggml-org/llama.cpp/releases/tag/b9978

llama: Vermeidung des Kopierens von Logits während der Prompt-Dekodierung in MTP von am17an · Pull Request #23198 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/23198

GitHub - | philtomson/llama.cpp: LLM-Inferenz in C/C++ (Fork des PrismML-Forks, der CPU-Unterstützung (inkl. AVX2 und AVX512) und ROCm für AMD-GPUs ermöglicht)
github.com/philtomson/llama.cpp
GitHub - | jimliddle/turboquant-amd-vulkan: Eine TurboQuant-Implementierung mit Llama.cpp für AMD mit Vulkan-Laufzeitumgebung
github.com/jimliddle/turboquant-amd-vulkan

GitHub - | ikawrakow/ik_llama.cpp: llama.cpp-Fork mit zusätzlichen SOTA-Quanten und verbesserter Performance
github.com/ikawrakow/ik_llama.cpp

Next