ExLlamaV2
Modern tüketici sınıfı GPU'larda yerel büyük dil modellerini çalıştırmak için tasarlanmış bir çıkarım kütüphanesidir. Flash Attention desteği ile sayfalandırılmış dikkat mekanizması sunar ve dinamik gruplama, akıllı istem önbellekleme ve K/V önbellek tekilleştirme özelliklerini içeren bir jeneratör yapısına sahiptir. Proje şu an arşivlenmiş durumdadır ve geliştirme süreci ExLlamaV3 üzerinden devam etmektedir.
EX
turboderp · Yerel Yapay Zeka / Kendi Sunucunda LLM
YILDIZ4
ÇATAL337
COMMIT0
KATKICI57
SÜRÜMv0.3.2
GÜNCELLEME8 ay önce
Python + CudaExl2 FormatHız OdaklıQuantizationMIT
Bu kategorideki yaygın ticari ürünler: ChatGPT, Claude, Gemini
Ne yapar?
- Modern tüketici sınıfı GPU'lar üzerinde yerel büyük dil modellerini çalıştırırsın.
- Dinamik gruplama ve akıllı istem önbellekleme ile metin üretimi yaparsın.
- Asyncio kullanarak akış tabanlı metin üretimi süreçlerini yönetirsin.