Geri dön: Katalog

pd-bridge

DeepSeek-V4-Flash için heterojen prefill/decode: CUDA prefill (DGX Spark, vLLM) -> Metal decode (Mac Studio, oMLX) düz 10GbE üzerinde.

PD

pd-bridge

Yeni65

chadhurley25075-png · Yapay Zeka / LLM / RAG

YILDIZ151
ÇATAL13
COMMIT0
KATKICI0
SÜRÜM—
GÜNCELLEME14 gün önce
apple-silicondeepseekdgx-sparkheterogeneous-inferenceApache-2.0

Bu kategorideki yaygın ticari ürünler: ChatGPT, Claude, Gemini

Ne yapar?
  • The fallback çalışır ve artık yalan söyleyemez. Bir köprü başarısız olduğunda cevap hala geri geliyor
  • The "soğuk başlangıç varyansı" 20K'da varyans değildi. The 25.5 s VS 55.4 s yayılma yakalama oldu
Dikkat
  • • Yayınlanmış sürüm yok
Web Sitesi GitHub

Notum

Alternatif sayfaları

ChatGPT alternatifleriClaude alternatifleriGemini alternatifleri

Aynı kategoride: Yapay Zeka / LLM / RAG