Trusence Her iddianın bir kaynağı var
Son güncelleme: 17 Kasım 2026 Ara English
Araştırma

GitHub, AI code review için ReviewBench adlı yeni bir benchmark duyurdu

ReviewBench, offline değerlendirmeyi daha sıkı hale getirmeyi ve Copilot code review sonuçlarını üretim denemeleriyle daha iyi ilişkilendirmeyi amaçlıyor.

Güncellendi: 6 Ekim 2026

GitHub, AI code review için ReviewBench adlı yeni bir offline benchmark tanıttı. Şirket, bu ölçüm setinin reviewer’lar arasındaki karşılaştırmaları daha sıkı ve üretim kararları açısından daha yararlı hale getirmek için tasarlandığını söylüyor.

ReviewBench, 103.9 million GitHub pull requests üzerinden hazırlandı ve 19 dilde, 187 public open source repository’den alınan 219 pull request içeriyor. GitHub, dağılımları kendi genel iş yüküne benzemesi için seçtiğini söylüyor.

Şirketin anlattığı yöntemde aday bulgular; human reviewers, follow-up commits, analysis tools ve multiple frontier LLMs üzerinden toplanıyor. Ardından bunlar deduplicate ediliyor ve shared rubric ile derecelendiriliyor; bu aşamada Claude Sonnet 5 LLM grader olarak kullanılıyor. ReviewBench ayrıca grounded ve augmented precision, recall ve F1 metriklerini raporluyor; böylece sistemler hem bilinen sorunlar hem de başlangıçtaki gold set dışında kalan geçerli keşifler üzerinden değerlendirilebiliyor. GitHub, ReviewBench’in publicly available olduğunu ve Copilot code review için offline sonuçların production experiment outcomes tahminini şimdiden iyileştirdiğini söylüyor.

Neden önemli

AI code review araçlarını kıyaslayan ekipler için ölçüm artık yalnızca bilinen cevapları yakalamaya bakmıyor; başlangıç setinin dışındaki doğru bulgular da hesaba katılıyor. Bu, model seçimi ya da değerlendirme sürecini kuran ekiplerin daha dar bir test yerine daha geniş bir kalite resmi görmesi demek. GitHub’ın Copilot code review için üretim denemeleriyle daha iyi eşleşen bir offline ölçüm bulduğunu söylemesi de, benchmark’ın pratik kararlar için kullanılabilirliğini artırıyor.

Kaynaklar · 1