llama.cpp
llama.cpp, geniş bir donanım yelpazesinde minimum bağımlılıkla LLM ve VLM çıkarımı yapmayı sağlayan saf C/C++ tabanlı bir projedir. Apple Silicon, x86 ve RISC-V mimarileri için optimizasyonlar sunar; ayrıca 1.5-bit ile 8-bit arasında değişen tamsayı kuantalama yöntemlerini destekler. ggml kütüphanesi üzerine kuruludur ve CUDA, Metal, Vulkan gibi çok sayıda arka uç desteği içerir.
llama.cpp
100ggml-org · Yerel Yapay Zeka / Kendi Sunucunda LLM
Bu kategorideki yaygın ticari ürünler: ChatGPT, Claude, Gemini
- Hugging Face üzerinden doğrudan model indirip komut satırından çalıştırırsın
- llama serve aracını kullanarak yerleşik web arayüzüne sahip OpenAI uyumlu bir API sunucusu başlatırsın
- VRAM kapasitesini aşan büyük modelleri CPU ve GPU hibrit çıkarım desteğiyle çalıştırırsın
- • Yüksek açık issue sayısı (2.591)
- • NötrHacker News
Llama.cpp 30B şu anda sadece 6GB RAM ile çalışıyor
“Sadece herkesin kullandığı llama.cpp repo ile aynı. Sadece termux'da android telefonunuza klonlayın ve sonra makyaj yapın ve işiniz bitti. Model dosyasının indirildiğini varsayarsak (indirmek için wget kullanabilirsiniz) bunlar yükleme ve çalıştırma talimatlarıdır: pkg...”
- • NötrHacker News
Llama.cpp 30B şu anda sadece 6GB RAM ile çalışıyor
“llama.cpp'nun -t argümanı ile kullandığı iplik sayısını değiştirebilirsiniz. Varsayılan olarak sadece 4 kullanır. Örneğin, CPU'nuz 16 fiziksel çekirdeğe sahipse, ./main -m model.bin -t 16 16 çekirdeklerini varsayılan 4 çekirdekten yaklaşık 4 kat daha hızlı çalıştırabilirsiniz. Sonunda hafızaya çarptın...”
README ile doğrulandı · 26 Eki 2026 · kaynak
Notum
Alternatif sayfaları
Aynı kategoride: Yerel Yapay Zeka / Kendi Sunucunda LLM
- Ollama★ 185.398 · bugün
- Open WebUI★ 157.312 · bugün
- vLLM★ 95.942 · bugün
- Unsloth★ 78.833 · bugün
- GPT4All★ 77.346 · 1 yıl önce
- AnythingLLM★ 67.771 · bugün