PowerInfer
PowerInfer, aktivasyon yerelliğinden yararlanarak tüketici sınıfı GPU'lar ve CPU'lar üzerinde yüksek hızlı büyük dil modeli (LLM) çalıştırma olanağı sunan bir çıkarım motorudur. C++ ile geliştirilen bu araç, akıllı telefonlar ve yerel cihazlar için optimize edilmiş çerçeveler içerir ve ROCm desteğiyle AMD donanımlarını da kapsar. Proje, seyrek (sparse) modellerle uyumlu çalışarak yerel dağıtımlarda verimli token üretimi sağlar.
Tiiny-AI · Yerel Yapay Zeka / Kendi Sunucunda LLM
Bu kategorideki yaygın ticari ürünler: ChatGPT, Claude, Gemini
- Tüketici sınıfı GPU ve CPU donanımlarında büyük dil modellerini yerel olarak çalıştırabilirsin.
- Akıllı telefonlar ve mobil cihazlar için optimize edilmiş çıkarım çerçevesinden yararlanabilirsin.
- AMD cihazlarda ROCm desteğiyle model çıkarım işlemlerini gerçekleştirebilirsin.
- • Yayınlanmış sürüm yok
- ↑ OlumluHacker News
PowerInfer: Tüketici Sınıfı GPU ile Hizmet veren Hızlı Büyük Dil Modeli [pdf]
“GitHub'larından[0]: Değerlendirme, PowerInfer'ın 13.20 tokens/s'nun ortalama jeton üretim oranına ulaştığını, 29.08 tokens/s'nun zirvesine sahip olduğunu, tek bir NVIDIA RTX 4090 GPU'da çeşitli LLM'lerde (OPT-175B dahil) sadece%18 daha düşük olduğunu gösteriyor.”
- • NötrHacker News
PowerInfer: Tüketici Sınıfı GPU ile Hizmet veren Hızlı Büyük Dil Modeli [pdf]
“Bu temel olarak fork llama.cpp'dur. diff'yu görmek için bir PR oluşturdum ve bu konudaki yorumlarımı ekledim: İlgimi çeken bir şey, okumalarından gelen bu satır: PowerInfer, bir GPU-CPU hibrid çıkarım motoru tasarlamak için böyle bir içgörüden yararlanıyor: sıcak aktif nöronlar...”