Soup

Soup, tek bir YAML dosyası üzerinden büyük dil modellerinin ince ayar (fine-tune) ve eğitim sonrası süreçlerini yürüten komut satırı aracıdır. Katman akışı (layer streaming) yöntemiyle, 8 milyar parametreli bir modeli 4 GB VRAM kapasitesine sahip dizüstü bilgisayar grafik kartlarında eğitmeye olanak tanır. Komut satırı ve Web arayüzü desteği sunarak altyapı karmaşıklığını ortadan kaldırır.

SO

MakazhanAlpamys · Yerel Yapay Zeka / Kendi Sunucunda LLM

YILDIZ9.8K
ÇATAL1.6K
COMMIT0
KATKICI0
SÜRÜMv0.75.1
GÜNCELLEMEbugün
PythonLLM Fine-tuningCLIQLoRAApache-2.0

Bu kategorideki yaygın ticari ürünler: ChatGPT, Claude, Gemini

Ne yapar?
  • Tek bir YAML yapılandırma dosyası ve tek komutla büyük dil modellerine ince ayar yapabilirsin.
  • Katman akışı özelliğini etkinleştirerek 4 GB VRAM sınırındaki bir dizüstü bilgisayar GPU'sunda 8B model çalıştırabilirsin.
  • Yerel donanım üzerinde QLoRA kullanarak bulut sunuculara ihtiyaç duymadan model eğitimi gerçekleştirebilirsin.
Kullanıcı yorumları
  • ↑ OlumluHacker News

    Güzel Çorba

    “Güzel Çorba inanılmaz derecede sağlam ve güçlü bir araçtır. Bununla birlikte, bazen yeni başlayanlar için korkutucu bir araç olabilir (".find x y z" metodunu tekrar kullanmalı mıyım?). Bu amaçla gazpacho'ya göz atmalısınız (sadece tek bir "bulma" yöntemi ile):”

  • ↓ OlumsuzGitHub Issue

    MLXSFTTrainerWrapper: Apple Silicon üzerinde uçtan uca eğitim döngüsü entegrasyon testi ekleyin

    “Sorun v0.25.0, MLX backend'yu (backend: mlx) tam bir SFT eğitmen ambalajı (MLXSFTTrainerWrapper) ile gönderdi. Bununla birlikte, eğitim döngüsünün kendisi gerçek bir MLX çalışma süresine karşı entegrasyon test edilmemiştir. Mevcut test...”

Web Sitesi GitHub

Notum

Alternatif sayfaları

Aynı kategoride: Yerel Yapay Zeka / Kendi Sunucunda LLM