BitNet

bitnet.cpp, 1-bit LLM'ler için geliştirilmiş resmi inference altyapısıdır. ARM ve x86 CPU'lar ile GPU'larda 1.58-bit modellerin kayıpsız çalıştırılması için optimize edilmiş çekirdekler sunar. Enerji tüketimini azaltırken ARM işlemcilerde performans artışı sağlar.

BI

microsoft · Yerel Yapay Zeka / Kendi Sunucunda LLM

YILDIZ41.4K
ÇATAL3.9K
COMMIT0
KATKICI21
SÜRÜM—
GÜNCELLEME3 ay önce
C++1-Bit LLMMicrosoftCpu NativeMIT

Bu kategorideki yaygın ticari ürünler: ChatGPT, Claude, Gemini

Ne yapar?
  • Optimize edilmiş çekirdekler ile CPU ve GPU üzerinde 1-bit LLM inference çalıştırırsın
  • BitNet embedding modellerini dönüştürüp x86 işlemcilerde I2_S tabanlı işlemler gerçekleştirirsin
  • Konfigüre edilebilir paralel çekirdek uygulamalarıyla model çalıştırma verimliliğini artırırsın
Kullanıcı yorumları
  • ↑ OlumluHacker News

    BitNet: 1-bit LLM'ler için çıkarım framework

    “Burada haberleri göremiyorum ... son güncellenen 12/2025 var ... Burada sadece daha fazla dikkat mi ediyorum yoksa aslında bu konuda yeni bir şey var mı? Ayrıca bildiğim kadarıyla, bu daha çok bir araştırma merakı - BitNet gerçekten evallerde o kadar iyi performans göstermiyor. Sanırım...”

  • ↑ OlumluHacker News

    Microsoft BitNet: 1-bit LLM'ler için çıkarım framework

    “BitNet ve düşük bitli LLM'lerin potansiyeli konusunda hevesliyim - kağıtlar, hesaplamayı ve bellek gereksinimlerini büyük ölçüde azaltırken, tam hassasiyetli modellerle eşleşen etkileyici karmaşıklık puanları gösteriyor. Şaşırtıcı olan şu ki, hiçbir büyük sağlayıcının planlarını duyurmadığını görüyoruz...”

GitHub

README ile doğrulandı · 26 Eki 2026 · kaynak

Notum

Alternatif sayfaları

Aynı kategoride: Yerel Yapay Zeka / Kendi Sunucunda LLM