lmdeploy
LMDeploy, büyük dil modellerinin sıkıştırılması, dağıtımı ve sunumu için geliştirilmiş bir araç takımıdır. TurboMind motoru ve PyTorch altyapısı aracılığıyla farklı model mimarilerini ve donanım platformlarını destekler. Çeşitli hassasiyet seviyelerinde nicemleme ve çıkarım optimizasyonları sağlar.
LM
lmdeploy
75InternLM · Yerel Yapay Zeka / Kendi Sunucunda LLM
YILDIZ8.1K
ÇATAL772
COMMIT0
KATKICI0
SÜRÜMv0.17.0
GÜNCELLEMEdün
PythonLLMQuantizationÇıkarımApache-2.0
Bu kategorideki yaygın ticari ürünler: ChatGPT, Claude, Gemini
Ne yapar?
- Büyük dil modellerini ve çok modlu modelleri farklı donanımlarda çalıştırırsın.
- Modelleri 4-bit veya 8-bit ağırlık ile nicemleyip sıkıştırırsın.
- TurboMind ve PyTorch motorları ile çıkarım ve sunum işlemlerini yönetirsin.
Dikkat
- • Yüksek açık issue sayısı (620)