wllama
llama.cpp için WebAssembly bağlayıcısıdır; LLM çıkarımını backend veya GPU gerektirmeden doğrudan tarayıcıda çalıştırır. V3 ile WebGPU, çok kipli (görsel ve ses girişi) ve araç çağırma desteği gelmiştir. Çıkarım bir worker içinde yürüdüğü için arayüzü bloke etmez.
ngxson · Local AI / Self-Hosted LLM
Common commercial products in this category: ChatGPT, Claude, Gemini
- Tarayıcıda WebAssembly ile LLM çıkarımı çalıştırırsın.
- OpenAI uyumlu, tam tipli yerleşik API ile modelle konuşabilirsin.
- Görsel ve ses dosyası girişiyle çok kipli tamamlama yaparsın.
- • NeutralGitHub Issue
PostMessage: Data cannot be cloned, out of memory
“I'm trying to load Mistral 7B 32K. I've chunked the 4.3GB model and uploaded it to huggingface. When the download is seemingly complete, there is a warning about being out of memory: It's a little odd, as I normally load bigger chunked models (Llama 8B) with WebLLM. The task…”
- • NeutralGitHub Issue
BitNet support
“I'm curious: if Llama.cpp adds BitNet support (which looks imminent), will Wllama be able to run Bitnet models too by simply upgrading the Llama.cpp version? Or will there be more things that need to happen?”
Verified against README · Oct 28, 2026 · source