minbpe
Minbpe, büyük dil modellerinde yaygın olarak kullanılan bayt seviyesindeki Byte Pair Encoding algoritmasının minimal ve temiz bir Python implementasyonudur. Depoda, kelime dağarcığını eğitme, metni tokenize etme ve token'ları metne dönüştürme işlemlerini gerçekleştiren temel, regex tabanlı ve GPT-4 uyumlu tokenizer sınıfları yer alır.
minbpe
55karpathy · Yapay Zeka / LLM / RAG
Bu kategorideki yaygın ticari ürünler: ChatGPT, Claude, Gemini
- Verilen metin üzerinde tokenizer kelime dağarcığını ve birleştirmelerini eğitirsin
- Metinleri token dizilerine dönüştürür ve token'ları tekrar metne çevirirsin
- Eğitilen tokenizer modelini diske kaydedip daha sonra yeniden yüklersin
- • Son güncelleme 2 yıl önce
- • NötrHacker News
Andrej Karpathy'nin PyTorch/CUDA ile Minbpe LLM Tokenizer'inin 55x Hızı
“Bu, Andrej Karpathy'nin minbpe'sine PyTorch/CUDA eğitim desteği ekler. RTX4090'da BasicTokenizer'i 307MB Enron e-postalarında 512 büyüklüğünde bir vocab boyutuyla eğitmek 2 dakika 28sec (148 saniye) sürer. Orijinal kod, Python 3.11 ile bir M2 Air'de 2 saat 15 dakika (8076 saniye) sürer.”
- • NötrGitHub Issue
bpe'ye alternatif
“Belki tamamen yanılmışımdır, ama bana göre metin için kodlama yapmak için bpe gibi bir şey kullanmak aptalca geliyor. Elbette, oldukça kolay bir yoldur ve dizi uzunluğu açısından verimli bir kodlama inşa edecektir, ancak böyle bir kodlama için tek gereklilik bu mu? Acaba...”
Notum
Alternatif sayfaları
Aynı kategoride: Yapay Zeka / LLM / RAG
- rea★ 412.812 · bugün
- ECC★ 293.487 · dün
- hermes-agent★ 258.923 · bugün
- ponytail★ 181.048 · 2 gün önce
- graphify★ 139.557 · bugün
- MoneyPrinterTurbo★ 136.645 · bugün