SWE-bench
SWE-bench, büyük dil modellerinin GitHub'daki gerçek yazılım sorunlarını çözme yeteneklerini değerlendirmek için tasarlanmış bir benchmark platformudur. Sistem, verilen bir kod tabanı ve sorun bildirimi üzerinde modelin çözüm üreten bir yama oluşturmasını bekler. Değerlendirme süreçleri, tekrarlanabilir sonuçlar elde etmek amacıyla Docker tabanlı konteyner yapısı kullanılarak gerçekleştirilir.
SWE-bench · Yapay Zeka Kodlama Asistanları
Bu kategorideki yaygın ticari ürünler: GitHub Copilot, Cursor, Tabnine
- Büyük dil modellerinin gerçek dünya yazılım sorunlarını çözme performansını ölçersin.
- Docker tabanlı altyapıyı kullanarak yazılım geliştirme görevlerini yerel veya bulut ortamında değerlendirirsin.
- Multimodal yetenekler dahil olmak üzere farklı yazılım alanlarında modellerin hata çözümleme başarısını analiz edersin.
- • NötrHacker News
En iyi model puanları, SWE-bench'teki Git geçmişi sızıntıları tarafından çarpıtılabilir
“Görünen o ki SWE-bench'in ne olduğunu bilmiyorsun [1]. Her şeyden önce, verilen çözümlerle açıkça boş proje sorularının ötesine geçen becerileri değerlendirmeye çalışır. İkincisi, "optimal" veya bazen doğru çözümler içermez. Gerçek dünyayı kullandığı için...”
- • NötrHacker News
SWE-bench veri kümesi ile ilgili bazı kritik sorunlar
“Bu gazetenin tüm önermesi yanlıştır. "Hint metni"nin kullanıldığını ve cevabı Bölüm 2.1.1'da sızdırdığını iddia ediyorlar; Bununla birlikte, SWE-Bench'in yazarları bunun hiçbir yerde kullanılmadığını belirtiyorlar (resmi SWE-Bench GitHub'da 133. madde). Gazeteye göre: ...”
Notum
Alternatif sayfaları
Aynı kategoride: Yapay Zeka Kodlama Asistanları
- Pi Agent Harness★ 119.051 · bugün
- Gemini CLI (Google)★ 108.640 · bugün
- Cline★ 71.082 · bugün
- open-code-review★ 49.140 · dün
- agentic-awesome-skills★ 48.860 · bugün
- Continue★ 36.380 · dün