GitHub - | ciprianveg/3090-vllm:
Beteilige dich an der Entwicklung von ciprianveg/3090-vllm, indem du ein Konto auf GitHub erstellst.
github.com/ciprianveg/3090-vllm
Details zur Berichterstattung
| Zuletzt aktualisiert | |
| Artikel gesamt | 1 |
Hauptthemen
Ähnliche Artikel
Previous
Qwen3.8-flash-next 8 Karten fp8 & int4 aktivieren und qwen4-27b optimieren von hzjane · Pull Request #22 · analytics-zoo/vllm-xpu-kernels
github.com/analytics-zoo/vllm-xpu-kernels/pull/22
GitHub – Zagitta/gpu-unlock: Tragen Sie zur Entwicklung von Zagitta/gpu-unlock bei, indem Sie ein Konto auf GitHub erstellen.
github.com/Zagitta/gpu-unlock
B70_Quad/qfn-38-fp8-4xb70-mtp auf Master · wormley/B70_Quad: Rezepte für LLMs auf 4x Intel Arc B70-Karten. Beteiligen Sie sich an der Entwicklung von ...
github.com/wormley/B70_Quad/tree/master/qfn-38-fp8-4xb70-mtp
GitHub - | weicj/vLLM-2080Ti-Definitive: Die ultimative vLLM-Laufzeitumgebung für zwei RTX 2080 Ti 22GB + NVLink, die lokale Qwen-27B-Inferenz mit maximal 200+ ...
github.com/weicj/vLLM-2080Ti-Definitive
club-3090/docs/MULTI_CARD.md at master · noonghunna/club-3090: Community-Rezepte zum Bereitstellen von LLMs auf RTX 3090/4090/5090 CUDA-GPUs. Multi-Engine (vLLM ...
github.com/noonghunna/club-3090/blob/master/docs/MULTI_CARD.md
GitHub - | dysangel/vllm at qwen38next-sm121: Eine leistungsstarke und speichereffiziente Inferenz- und Bereitstellungs-Engine für LLMs - | GitHub - | ...
github.com/dysangel/vllm/tree/qwen38next-sm121
GitHub - | uraniumchonk/vllm-hybrid-mamba-notes: Feldnotizen: vLLM + hybrides Mamba/GDN + MTP + LMCache. Versionsmatrix, Symptome und der ...
github.com/uraniumchonk/vllm-hybrid-mamba-notes
GitHub - | syv-ai/qwen38-27b-rtx3090: Qwen3.8-27B auf einer einzelnen RTX 3090 mit vLLM: ~1.000 tok/s bei 64 gleichzeitigen Prozessen (int8 Tensor-Core GEMMs ...
github.com/syv-ai/qwen38-27b-rtx3090
GitHub - | raullenchai/twinspark: Produktionsreife Lösung für DeepSeek-V4-Flash-0731 (284 B MoE) auf 2x NVIDIA DGX Spark: selbstheilender 2-Knoten-vLLM-Cluster ...
github.com/raullenchai/twinspark
GitHub - | oteomamo/SALT: Salienzbewusster lexikalischer Trie für die Komprimierung langer Kontexte.
github.com/oteomamo/SALT
GitHub - | ciprianveg/gb10-glm-5.2: GLM-5.2-Int4-Int8 auf einem 8x GB10-Cluster: GLM-5.2-Int4-Int8 auf einem 8x GB10-Cluster. Beteiligen Sie sich an der ...
github.com/ciprianveg/gb10-glm-5.2
club-3090/models/qwen3.6-27b/vllm/compose/dual/fp8/mtp.yml at master · noonghunna/club-3090
github.com/noonghunna/club-3090/blob/master/models/qwen3.6-27b/vllm/compose/dual/fp8/mtp.yml
club-3090/models/qwen3.6-27b/vllm/compose/dual/carnice-bf16mtp/bf16-mtp.yml at master · noonghunna/club-3090
github.com/noonghunna/club-3090/blob/master/models/qwen3.6-27b/vllm/compose/dual/carnice-bf16mtp/bf16-mtp.yml
GitHub - | tedivm/qwen36-27b-docker: vLLM Docker-Container für Qwen36 27b: vLLM Docker-Container für Qwen36 27b. Beteiligen Sie sich an der Entwicklung von ...
github.com/tedivm/qwen36-27b-docker
GitHub - | jungledesh/profile: Ein physikbasierter, kostenbewusster Optimierer für vLLM.
github.com/jungledesh/profile
GitHub - | ai-infos/vllm-gfx906-mobydick: Eine leistungsstarke und speichereffiziente Inferenz- und Server-Engine für LLMs - | Optimiert für AMD gfx906 GPUs, z ...
github.com/ai-infos/vllm-gfx906-mobydick
GitHub - | namake-taro/vllm-custom: Beteilige dich an der Entwicklung von namake-taro/vllm-custom, indem du ein Konto auf GitHub erstellst.
github.com/namake-taro/vllm-custom
GitHub - | Jransom33/Chatterbox-turbo-vllm: VLLM-Portierung des Chatterbox Turbo TTS-Modells
github.com/Jransom33/Chatterbox-turbo-vllm
GitHub - | uaysk/vllm-pascal: vLLM-Fork für Pascal-GPUs: vLLM-Fork für Pascal-GPUs. Beteilige dich an der Entwicklung von uaysk/vllm-pascal ...
github.com/uaysk/vllm-pascal
Next