LightLLM
LightLLM, Python tabanlı hafif tasarımı, kolay ölçeklenebilirliği ve yüksek hızlı performansı ile bilinen bir dil modeli (LLM) çıkarım ve sunum altyapısıdır. FasterTransformer, TGI, vLLM ve FlashAttention gibi açık kaynaklı uygulamaların güçlü yanlarını birleştirir. Veri paralel sıralayıcılar arasında Prefix KV Cache aktarımı desteği sunar ve token düzeyinde KV Cache yönetimi sağlar.
ModelTC · Yerel Yapay Zeka / Kendi Sunucunda LLM
Bu kategorideki yaygın ticari ürünler: ChatGPT, Claude, Gemini
- Büyük dil modelleri için hızlı çıkarım ve sunum altyapısı kurarsın.
- Veri paralel sıralayıcılar arasında Prefix KV Cache aktarımı yaparsın.
- Token düzeyinde KV Cache yönetimiyle araştırma projeleri geliştirirsin.
- • NötrGitHub Issue
Llama2 ve Llama-30b çalışmıyor
“- Sadece lama-7b modelini çalıştırabiliyor, lama2-13b, lama2-70b ve lama-30 Başarısız - A100 GPU'yu kullanarak, triton bağımlılıkları hakkındaki talimatları takip etti. python Görev istisnası asla geri alınamadı: exception='cef3986efedb4d1a966c56365091dde' = ==== Uzaktan Takip...”