Liger-Kernel
Liger-Kernel, büyük dil modeli (LLM) eğitimi için tasarlanmış verimli Triton çekirdeklerinden oluşan bir koleksiyondur. Çoklu GPU eğitim verimliliğini artıran ve bellek kullanımını azaltan bu kütüphane, Hugging Face ile uyumlu bileşenler sunar. Flash Attention, PyTorch FSDP ve Microsoft DeepSpeed ile doğrudan çalışabilir.
linkedin · Yerel Yapay Zeka / Kendi Sunucunda LLM
Bu kategorideki yaygın ticari ürünler: ChatGPT, Claude, Gemini
- Hugging Face uyumlu RMSNorm, RoPE, SwiGLU ve CrossEntropy gibi Triton çekirdeklerini kullanırsın.
- DPO, CPO, ORPO ve SimPO gibi kayıp fonksiyonları ile bellek tasarrufu sağlarsın.
- Flash Attention, PyTorch FSDP ve Microsoft DeepSpeed ile entegre edersin.
- ↑ OlumluHacker News
Liger-Kernel: LLM eğitimi için verimli Triton çekirdekleri
“Büyük dil modellerini (LLM'leri) eğitmek için GPU verimliliğini en üst düzeye çıkarmak, bellek dışı (OOM) hatalar, parti boyutunu ölçeklendirme ve dizi uzunluğu gibi sorunlar nedeniyle zordur. Bu zorlukların üstesinden gelmek için LinkedIn, Liger-Kernel adında açık kaynaklı bir kütüphane geliştirdi.”
- • NötrHacker News
Liger-Kernel: LLM eğitimi için verimli Triton çekirdekleri
“Liger-Kernel desteği, hızlı bir şekilde denemek isteyen biri varsa, onu kullanan bir örnek yapılandırma ile birlikte [0] ile birleştirilmiştir. [0] [1]”