Ähnliche Artikel
Previous
GitHub – achyudh/llama.cpp: LLM-Inferenz in C/C++: LLM-Inferenz in C/C++. Tragen Sie zur Entwicklung von achyudh/llama.cpp bei, indem Sie ein Konto auf GitHub ...
github.com/achyudh/llama.cpp

Ollama ist der einfachste Weg, mit lokaler KI zu beginnen, und es ist auch das Erste, was ich ersetzen würde.
xda-developers.com/ollama-easiest-way-start-with-local-ai-its-also-first-thing-id-replace/

Modell: MTP-Unterstützung für Mellum 2.1 von Xarbirus · Pull Request #30612 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/30612

Ich habe meine lokalen Modelle von Ollama nach llama.cpp verschoben, und der Grund dafür hat nichts mit Geschwindigkeit zu tun.
xda-developers.com/i-moved-from-ollama-to-llamacpp-and-discovered-its-better-than-most-tools/

Ich habe GLM 5.3, ein Modell mit 744 Milliarden Parametern, in meinem Heimnetzwerk ausgeführt, und die Grenzen des Möglichen scheinen plötzlich viel näher.
xda-developers.com/you-can-run-a-744b-model-on-your-own-hardware/

GitHub - | hardenedlinux/SonicBoom: Beteilige dich an der Entwicklung von hardenedlinux/SonicBoom, indem du ein Konto auf GitHub erstellst.
github.com/hardenedlinux/SonicBoom

Laufzeitunterstützung für Prism Bonsai 2 27B von bri-prism · Pull Request #29600 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/29600

GitHub - | solvingSteve/Gevva0: Lokales System-0-Entscheidungsgateway, basierend auf Gemma 4. Direkte Logit-Bewertung, KV-Cache-Sequenzverzweigung und ...
github.com/solvingSteve/Gevva0

Ich habe mein altes Handy in einen lokalen LLM-Server verwandelt, und es erledigt Produktivitätsaufgaben besser als erwartet.
xda-developers.com/i-turned-my-old-phone-into-a-local-llm-server/

GitHub - | ccebelenski/localagents: MCP-Server, der die Arbeit des Claude-Code-Agenten an lokale Modelle (llama.cpp / vLLM) auf Ihrer eigenen Hardware ...
github.com/ccebelenski/localagents

GitHub - | mostlygeek/llama-swap: Zuverlässiger Modelltausch für jeden lokalen OpenAI/Anthropic-kompatiblen Server - | llama.cpp, vllm usw.
github.com/mostlygeek/llama-swap

GitHub - | guarismo/armored-llama: Beteilige dich an der Entwicklung von guarismo/armored-llama, indem du ein Konto auf GitHub erstellst.
github.com/guarismo/armored-llama

llama.cpp/tools/server at master · ggml-org/llama.cpp: LLM-Inferenz in C/C++. Beteiligen Sie sich an der Entwicklung von ggml-org/llama.cpp ...
github.com/ggml-org/llama.cpp/tree/master/tools/server
Server: Korrektur der Checkpoint-Erstellung durch jacekpoplawski · Pull Request #22929 · ggml-org/llama.cpp
github.com/ggml-org/llama.cpp/pull/22929

Next
