wllama
llama.cpp için WebAssembly bağlayıcısıdır; LLM çıkarımını backend veya GPU gerektirmeden doğrudan tarayıcıda çalıştırır. V3 ile WebGPU, çok kipli (görsel ve ses girişi) ve araç çağırma desteği gelmiştir. Çıkarım bir worker içinde yürüdüğü için arayüzü bloke etmez.
ngxson · Yerel Yapay Zeka / Kendi Sunucunda LLM
Bu kategorideki yaygın ticari ürünler: ChatGPT, Claude, Gemini
- Tarayıcıda WebAssembly ile LLM çıkarımı çalıştırırsın.
- OpenAI uyumlu, tam tipli yerleşik API ile modelle konuşabilirsin.
- Görsel ve ses dosyası girişiyle çok kipli tamamlama yaparsın.
- • NötrGitHub Issue
PostMessage: Data cannot be cloned, out of memory
“I'm trying to load Mistral 7B 32K. I've chunked the 4.3GB model and uploaded it to huggingface. When the download is seemingly complete, there is a warning about being out of memory: It's a little odd, as I normally load bigger chunked models (Llama 8B) with WebLLM. The task…”
- • NötrGitHub Issue
BitNet support
“I'm curious: if Llama.cpp adds BitNet support (which looks imminent), will Wllama be able to run Bitnet models too by simply upgrading the Llama.cpp version? Or will there be more things that need to happen?”
README ile doğrulandı · 28 Eki 2026 · kaynak