lemonade
Lemonade, yerel donanım üzerinde optimize edilmiş dil modellerini çalıştırmayı sağlayan C++ tabanlı bir yapay zeka sunucusudur. Standart bulut API'leri ile uyumlu çalışarak sohbet, kodlama, konuşma ve görsel üretimi gibi işlemleri yerel GPU ve NPU'lar üzerinden gerçekleştirir. Proje, sunucu veya gömülebilir ikili dosya şeklinde iki farklı kullanım seçeneği sunar.
lemonade-sdk · Yerel Yapay Zeka / Kendi Sunucunda LLM
Bu kategorideki yaygın ticari ürünler: ChatGPT, Claude, Gemini
- Standart API'leri kullanarak mevcut uygulamalarını yerel yapay zeka sunucusuna bağlayabilirsin.
- GPU ve NPU donanımlarını kullanarak yerel cihazında sohbet, kodlama, ses ve görsel üretimi yapabilirsin.
- Komut satırı arayüzü ile modelleri indirebilir, çalıştırabilir ve model takma adlarını yönetebilirsin.
- • Yüksek açık issue sayısı (606)
- ↓ OlumsuzHacker News
AMD tarafından limonata: GPU ve NPU kullanan hızlı ve open source yerel LLM sunucusu
“Çok modlu birleştirme, ham çıkarım hızından daha fazla göze çarpan kısımdır. Metin oluşturma, görüntü oluşturma ve konuşma tanıma gerektiren bir uygulama oluşturuyorsanız, şu anda yerel kurulum üç farklı API ve üç...”
- • NötrHacker News
AMD tarafından limonata: GPU ve NPU kullanan hızlı ve open source yerel LLM sunucusu
“Benzer bir performans elde edersiniz. Limonata, yerel AI modelleri için anahtar teslimi (AMD Donanım için optimize edilmiş) olarak tasarlanmıştır. Yazılım, tek bir yardımcı programdan farklı GenAI modaliteleri için arka uçları (llama.cpp, flm, fısıltıcpp, kararlı diffusion.cpp, vb.) yönetmenize yardımcı olur. Şeyde...”