GitHub - | uaysk/vllm-pascal: vLLM-Fork für Pascal-GPUs:
vLLM-Fork für Pascal-GPUs. Beteilige dich an der Entwicklung von uaysk/vllm-pascal ...
github.com/uaysk/vllm-pascal
Details zur Berichterstattung
| Zuletzt aktualisiert | |
| Artikel gesamt | 1 |
Hauptthemen
neues Programm, das auf dem Quellcode eines anderen basiert
Ähnliche Artikel
Previous
Qwen3.8-flash-next 8 Karten fp8 & int4 aktivieren und qwen4-27b optimieren von hzjane · Pull Request #22 · analytics-zoo/vllm-xpu-kernels
github.com/analytics-zoo/vllm-xpu-kernels/pull/22
GitHub - | eagle-hq/EAGLE-4: Offizieller Inferenzcode von EAGLE-4: Offizieller Inferenzcode von EAGLE-4. Beteiligen Sie sich an der Entwicklung von ...
github.com/eagle-hq/EAGLE-4
GitHub - | AlexBrandes/cmp170hx-qwen38-flash-next: Qwen3.8-Flash-Next (W4A16) auf 2x NVIDIA CMP 170HX mit vLLM-Pipeline-Parallelisierung: 226 Tok/s ...
github.com/AlexBrandes/cmp170hx-qwen38-flash-next
GitHub - | ErikBPF/pqnld: Beteilige dich an der Entwicklung von ErikBPF/pqnld, indem du ein Konto auf GitHub erstellst.
github.com/ErikBPF/pqnld
[Feat] Structured decisions endpoint (`/v1/systemone`) by mmastrac · Pull Request #59299 · vllm-project/vllm
github.com/vllm-project/vllm/pull/59299
![[Feat] Structured decisions endpoint (`/v1/systemone`) by mmastrac · Pull ...](https://external-preview.redd.it/_sTcKq2T0gurGQqvhoWf5SRCMRXlhTYxx4x3thQp524.png?width=320&crop=smart&auto=webp&s=160c69ebe86c87f96e6e50d12884d3efa8a1bf6f)
GitHub - | majidkorai/Go-LLM: Beteiligen Sie sich an der Entwicklung von majidkorai/Go-LLM, indem Sie ein Konto auf GitHub erstellen.
github.com/majidkorai/Go-LLM
Ausgabe · vllm-project/vllm: Eine leistungsstarke und speichereffiziente Inferenz- und Bereitstellungs-Engine für LLMs - | Ausgabe · vllm-project/vllm
github.com/vllm-project/vllm
GitHub - | andysalerno/r9700-serving: Dockerfiles, Compose-Dateien, Benchmarks für 2x R9700-Serving
github.com/andysalerno/r9700-serving
GitHub - | syv-ai/qwen38-27b-rtx3090: Qwen3.8-27B auf einer einzelnen RTX 3090 mit vLLM: ~1.000 tok/s bei 64 gleichzeitigen Prozessen (int8 Tensor-Core GEMMs ...
github.com/syv-ai/qwen38-27b-rtx3090
club-3090/models/qwen3.6-27b/vllm/compose/dual/fp8/mtp.yml at master · noonghunna/club-3090
github.com/noonghunna/club-3090/blob/master/models/qwen3.6-27b/vllm/compose/dual/fp8/mtp.yml
GitHub - | tedivm/qwen36-27b-docker: vLLM Docker-Container für Qwen36 27b: vLLM Docker-Container für Qwen36 27b. Beteiligen Sie sich an der Entwicklung von ...
github.com/tedivm/qwen36-27b-docker
GitHub - | jungledesh/profile: Ein physikbasierter, kostenbewusster Optimierer für vLLM.
github.com/jungledesh/profile
GitHub - | ai-infos/vllm-gfx906-mobydick: Eine leistungsstarke und speichereffiziente Inferenz- und Server-Engine für LLMs - | Optimiert für AMD gfx906 GPUs, z ...
github.com/ai-infos/vllm-gfx906-mobydick
GitHub - | namake-taro/vllm-custom: Beteilige dich an der Entwicklung von namake-taro/vllm-custom, indem du ein Konto auf GitHub erstellst.
github.com/namake-taro/vllm-custom
GitHub - | soy-tuber/nemotron: Lokales multimodales LLM-Gateway zur Vereinheitlichung von NVIDIA Nemotron-Modellen auf einer einzelnen GPU
github.com/soy-tuber/nemotron
GitHub - | ian-hailey/vllm-docker-Qwen3-5-122B-A10B-NVFP4: Docker-Container-Konfiguration zum Starten von Qwen3.5-122B-A10B-NVFP4 mit vLLM
github.com/ian-hailey/vllm-docker-Qwen3-5-122B-A10B-NVFP4
[Bug]: Die Trefferrate des Präfix-Cachings in Qwen3.5 35BA3B ist sehr niedrig und liegt immer unter 0,1 % · Issue #36493 · vllm-project/vllm
github.com/vllm-project/vllm/issues/36493
![[Bug]: Die Trefferrate des Präfix-Cachings in Qwen3.5 35BA3B ist sehr ...](https://external-preview.redd.it/6I4QKh0Y1YPBf80r7PQ3afzTzE_BV5Blcw_K7mtS0Tw.png?width=320&crop=smart&auto=webp&s=237acfbce26bd0a4a5413e507b4eee1ee36b548c)
GitHub - | fabriziopfannl/autovram: GPU Auto-Optimizer: schnellste stabile Batch-/Präzisionskonfiguration für ML-Skripte & vLLM
github.com/fabriziopfannl/autovram
Next