data-juicer

Data-Juicer, temel modeller için metin, görüntü, ses ve video verilerini işleyen modüler bir veri işletim sistemidir. Web ölçeğinde ön eğitim derlemlerini temizleme, ajan etkileşim izlerini derleme ve alan adına özgü RAG indeksleri hazırlama süreçlerini destekler. Tek bir dizüstü bilgisayardan bin düğümlü kümelere kadar ölçeklenebilen yapı, YAML tabanlı boru hatları ve 200'den fazla operatör sunar.