llama-swap
Lllama-swap, yerel yapay zeka sunucuları arasında talep üzerine model değiştirmeyi sağlayan Go dilinde yazılmış bir araçtır. Harici bağımlılığı bulunmaz ve tek bir ikili dosya ile yapılandırma dosyası üzerinden çalıştırılabilir. OpenAI ile Anthropic API standartlarını destekleyen çeşitli uç noktaları yönlendirir.
mostlygeek · Yerel Yapay Zeka / Kendi Sunucunda LLM
Bu kategorideki yaygın ticari ürünler: ChatGPT, Claude, Gemini
- Yerel yapay zeka sunucularınız arasında anlık model değişimi yapabilirsin.
- OpenAI ve Anthropic uyumlu uç noktalar üzerinden istekleri yönetebilirsin.
- Çalışan modelleri listeleyebilir ve manuel olarak bellekten kaldırabilirsin.
- ↓ OlumsuzGitHub Issue
upstream lama-server ui'ye lama-swap sonuçları üzerinden bağlanmaya çalışılıyor 404
“Az önce lama-swap docker kabını en son cuda sürümüne (v159-cuda-b6503) güncelledim ve upstream web UI artık çalışmıyor. Bu muhtemelen lama sunucusundaki yeni svelte web UI'dan kaynaklanmaktadır. Kayıtlara bakıldığında, aşağıda yer alan ve teyit edilen...”
- • NötrGitHub Issue
Llama-swap ilk istekten sonra bağlantıyı kapatıyor
“Merhaba ortak, kontrol ettiğimde her iki modeli de görebilirsiniz. Bir model seçebilirsiniz ve doğru şekilde yüklenir. Ancak, sadece bir mesaj gönderdikten sonra, model yanıt vermeyi durdurur. Kayıtlar, ilk istekten sonra /upstream/qwen2.5/v1/chat/completions'da bir 404 hatasının göründüğünü göstermektedir. Ben...”