airllm
AirLLM, büyük dil modellerinin düşük VRAM kapasitesine sahip GPU'larda çalıştırılmasını sağlayan bir kütüphanedir. Kuantizasyon, damıtma veya budama yöntemlerine başvurmadan modellerin katman bazlı işlenmesine olanak tanır. Ayrıca büyük modellerin sınırlı bellek kaynaklarıyla eğitilmesini destekler.
airllm
88lyogavin · Yerel Yapay Zeka / Kendi Sunucunda LLM
Bu kategorideki yaygın ticari ürünler: ChatGPT, Claude, Gemini
- Düşük VRAM kapasiteli GPU'larda 70B parametreli büyük dil modellerini çalıştırabilirsin.
- Büyük ölçekli modelleri kısıtlı donanım kaynakları üzerinde eğitebilirsin.
- Blok tabanlı sıkıştırma yöntemiyle çıkarım hızını üç katına kadar artırabilirsin.
- ↓ OlumsuzGitHub Issue
Bu yapay zeka oyuncaklarının sorunu ne? Yumrukla çalışan biri denemez.
“Tanrım... İleride kalmak ve güncellenmek için bu projelerin çoğunu yoruldum ve bunlar bir yığın sorun ve hata. Hadi bu konuya gelelim... Pencerelerde çalıştırmaya çalışıyorum...... tüm talimatları takip ettim (ayrıca bitsandbytes yükleme) İlk sorun: [ve yapma önerisi...”
- ↓ OlumsuzGitHub Issue
katmanların daha akıllı toplulaştırma
“Merhaba bu harika bir proje, küçük bir T4 GPU'da Modal Labs'ta çoğalttım. Şimdi gördüğüm sorun şu ki, zaman başına bir katman yükleyerek GPU VRAM kullanımını en üst düzeye çıkarmıyorsunuz, örneğin bu durumda sadece 1.6 GB VRAM kullandı, sanırım bir katman büyüklüğünde...”
README ile doğrulandı · 26 Eki 2026 · kaynak