shimmy
Shimmy, GGUF modelleri için geliştirilmiş tek ikili dosyaya sahip ve OpenAI API uyumlu bir çıkarım sunucusudur. Tamamen Rust ile yazılmış olup Python veya C++ araç zincirine ihtiyaç duymaz. WebGPU (WGSL) hesaplama gölgelendiricilerini kullanarak NVIDIA, AMD, Intel ve Apple Silicon gibi farklı grafik işlemciler üzerinde çalışır.
Michael-A-Kuykendall · Yerel Yapay Zeka / Kendi Sunucunda LLM
Bu kategorideki yaygın ticari ürünler: ChatGPT, Claude, Gemini
- Mevcut yapay zeka araçlarını yerel ve gizli bir şekilde bu sunucuya yönlendirirsin.
- GGUF formatındaki modelleri Python veya C++ bağımlılığı olmadan çalıştırırsın.
- SHIMMY_MAX_CTX parametresi ve YaRN RoPE ölçekleme ile bağlam uzunluğunu artırırsın.
- ↑ OlumluHacker News
HN'yi göster: Shimmy – 5MB gizlilik önce, Ollama'ya yerel alternatif (680MB)
“Hey HN! Bunu yaptım çünkü Ollama'nın 680MB ikilisinin yerel olarak 4GB modelini çalıştırmaya başlaması için 10 saniye beklemekten yoruldum. Hızlı demo - 30 saniye içinde çalışan VSCode + yerel AI: bukle -L ./shimmy service Point VSCode/Cursor to localhost:11435 Teknik başarı: Got...”
- • NötrHacker News
HN'yi göster: Shimmy – 5MB gizlilik önce, Ollama'ya yerel alternatif (680MB)
“Shimmy, "görünmez altyapı" olarak tasarlanmıştır - mevcut AI araçlarınızla yerel çıkarım elde etmenin en basit yolu. lama-server size daha fazla kontrol sağlar, lama-swap size çok modelli yönetim sağlar. Anahtar farklar: - Mimari: lama-swap = proxy +...”