GitHub – achyudh/llama.cpp: LLM-Inferenz in C/C++:
LLM-Inferenz in C/C++. Tragen Sie zur Entwicklung von achyudh/llama.cpp bei, indem Sie ein Konto auf GitHub ...
github.com/achyudh/llama.cpp
Details zur Berichterstattung
| Zuletzt aktualisiert | |
| Artikel gesamt | 1 |
Hauptthemen
Sprachmodell, das mit großen Mengen von Texten erstellt wurde
neues Programm, das auf dem Quellcode eines anderen basiert
Ähnliche Artikel
Previous
Modell: MTP-Unterstützung für Mellum 2.1 von Xarbirus · Pull Request #30612 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/30612
Ich habe meine lokalen Modelle von Ollama nach llama.cpp verschoben, und der Grund dafür hat nichts mit Geschwindigkeit zu tun.
xda-developers.com/i-moved-from-ollama-to-llamacpp-and-discovered-its-better-than-most-tools/
Ich habe GLM 5.3, ein Modell mit 744 Milliarden Parametern, in meinem Heimnetzwerk ausgeführt, und die Grenzen des Möglichen scheinen plötzlich viel näher.
xda-developers.com/you-can-run-a-744b-model-on-your-own-hardware/
GitHub - | edwardyoon/focus-llama: Ein Fork von llama.cpp für Dynamic Attention Masking
github.com/edwardyoon/focus-llama
GitHub - | atretador/gfx906-16gb-expert-pool: LLM-Inferenz in C/C++: LLM-Inferenz in C/C++. Tragen Sie zur Entwicklung von atretador/gfx906-16gb-expert-pool bei ...
github.com/atretador/gfx906-16gb-expert-pool
llama: Option --n-cpu-ffn hinzugefügt von John-194 · Pull Request #26622 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/26622
MiniMax-M3 (MSA: MiniMax Sparse Attention)-Unterstützung hinzugefügt von timkhronos · Pull Request #24908 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/24908
Ollama ist der einfachste Weg, lokale LLMs zu starten, aber diese 6 Alternativen sind ebenfalls einen Versuch wert.
xda-developers.com/ollama-alternatives-worth-trying/
Release b9978 · ggml-org/llama.cpp: LLM-Inferenz in C/C++. Beteiligen Sie sich an der Entwicklung von ggml-org/llama.cpp, indem Sie ein Konto auf GitHub ...
github.com/ggml-org/llama.cpp/releases/tag/b9978
Server: Korrektur der Checkpoint-Erstellung durch jacekpoplawski · Pull Request #22929 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/22929
llama : Gemma4 MTP von am17an hinzufügen · Pull Request #23398 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/23398
GitHub - | ParmesanParty/llama.cpp: Spezialisierter Fork für (relativ) schnelle Single-GPU-Inferenz (in CUDA) mit großen MoE-Modellen ...
github.com/ParmesanParty/llama.cpp
GitHub - | philtomson/llama.cpp: LLM-Inferenz in C/C++ (Fork des PrismML-Forks, der CPU-Unterstützung (inkl. AVX2 und AVX512) und ROCm für AMD-GPUs ermöglicht)
github.com/philtomson/llama.cpp
Next