nano-vllm
nano-vllm, vLLM'in yaklaşık 1.200 satırlık Python koduyla sıfırdan yazılmış hafif bir gerçekleştirmesidir. Önek önbellekleme, tensör paralelliği, Torch derleme ve CUDA grafikleri gibi optimizasyonlarla vLLM ile kıyaslanabilir çevrimdışı çıkarım hızları sunar.
NA
GeeeekExplorer · Yerel Yapay Zeka / Kendi Sunucunda LLM
YILDIZ16.2K
ÇATAL2.8K
COMMIT67
KATKICI12
SÜRÜM—
GÜNCELLEME6 ay önce
PythonvLLMÇıkarımCUDA GraphMIT
Bu kategorideki yaygın ticari ürünler: ChatGPT, Claude, Gemini
Ne yapar?
- Hugging Face üzerinden model ağırlıklarını indirip çevrimdışı çıkarım çalıştırırsın.
- vLLM benzeri bir API arayüzü kullanarak metin üretimi yaparsın.
- Önek önbellekleme ve tensör paralelliği gibi optimizasyon özelliklerini test edersin.
Dikkat
- • Yayınlanmış sürüm yok