Xinference
Xinference, dil, konuşma tanıma ve çok modlu modelleri dağıtık sistemler üzerinde çalıştırmak için geliştirilmiş bir kütüphanedir. Otomatik toplu işleme (auto-batch), sürekli toplu işleme desteği ve paylaşımlı KV önbelleği gibi özelliklerle üretim ortamında model servis etme süreçlerini yönetir. Ayrıca Xagent entegrasyonu ile dinamik planlama ve otonom akıl yürütme yetenekleri sunar.
XI
Xinference
100xorbitsai · Yerel Yapay Zeka / Kendi Sunucunda LLM
YILDIZ9.6K
ÇATAL893
COMMIT2.3K
KATKICI168
SÜRÜMv3.4.0
GÜNCELLEMEbugün
PythonInference APIÇok ModluKendi SunucundaApache-2.0
Bu kategorideki yaygın ticari ürünler: ChatGPT, Claude, Gemini
Ne yapar?
- Dil, konuşma ve çok modlu modelleri tek bir komutla kendi altyapında çalıştırırsın.
- Eş zamanlı gelen istekleri otomatik olarak gruplayıp sistem verimliliğini artırırsın.
- Modelleri birden fazla işçi düğümüne dağıtarak ölçeklenebilir bir servis yapısı kurarsın.