SGLang
SGLang, büyük dil, görü-dil ve difüzyon modelleri için geliştirilmiş, ajan iş yükleri, büyük ölçekli servis ve RL rollout'ları için optimize edilmiş açık kaynaklı bir çıkarım çerçevesidir. RadixAttention, önek önbellekleme ve çoklu GPU paralelliğiyle düşük gecikme ve yüksek verim hedefler; Hugging Face ve OpenAI API'leriyle uyumludur. NVIDIA, AMD, Google TPU (PyTorch ve JAX yolları), Intel, Apple Silicon ve Huawei Ascend gibi geniş bir donanım yelpazesini destekler.
SGLang
90sgl-project · Yapay Zeka / LLM / RAG
Bu kategorideki yaygın ticari ürünler: ChatGPT, Claude, Gemini
- Büyük dil modellerini yüksek verimlilikle OpenAI uyumlu API üzerinden servis edersin.
- RadixAttention önek önbellekleme ile çok turlu sohbet ve agent iş yüklerinde hız kazanırsın.
- SGLang Diffusion ile video ve görüntü oluşturma süreçlerini hızlandırırsın.
- • Yüksek açık issue sayısı (6.299)
- ↓ OlumsuzHacker News
SGLang'da Flash Dikkat Arka Ucu Uygula - Temeller ve KV Önbellek
“İşte denediğim çıkarım motorlarının bir listesi: - SGLang - vLLM - TGI (Huggingface's) - llama.cpp - sonsuzluk (LLM'ler için değil yerleştirme / yeniden sıralama modelleri için harika) Kişisel hislerim SGLang / vLLM'nin beni kullanmak istemeyen sorunları var. Tabii ki hızlı, ama var...”
- ↓ OlumsuzGitHub Issue
Büyük Ölçekli PD ve EP ile DeepSeek Çalıştırma Talimatı
“Ana branch NOTE kullanarak: özellik zaten ana üzerinde, ama performans hala ana branch bazı iyileştirmeler gerekir. zaten açılmış birkaç sonra iyi olacak PRs - PR 6680, 6727, 6728 NOTE: Ben daha sonra D için P ve 9 düğüm için 4 düğüm gibi diğer yapılandırma deneyecek. güncellendi...”
README ile doğrulandı · 26 Eki 2026 · kaynak
Notum
Alternatif sayfaları
Aynı kategoride: Yapay Zeka / LLM / RAG
- rea★ 412.812 · bugün
- ECC★ 293.487 · dün
- hermes-agent★ 258.923 · bugün
- ponytail★ 181.048 · 2 gün önce
- graphify★ 139.557 · bugün
- MoneyPrinterTurbo★ 136.645 · bugün