Uzun bağlam
ReWo ContextCurve Türkçe v1
Aynı beş soru altı bağlam uzunluğunda tekrarlanır; soru, cevap ve kanıt sabit kalır, yalnız bağlam uzar.
Liderlik tablosu
düşük doğrulukyüksek doğrulukkısmi ölçüm—gönderilemedi
PUAN bağlam kovalarından önce görünür; kovalar için tabloyu yana kaydırın.
| # | Model | PUAN | 16K | 32K | 64K | 128K | 256K | 512K |
|---|---|---|---|---|---|---|---|---|
| 1 | GPT-5.6 Sol | 97,1 | 100% | 100% | 100% | 100% | 100% | 80% |
| 2 | Gemini 3.1 Pro | 83,0 | 80% | 80% | 80% | 80% | 80% | 80% |
| 3 | DeepSeek V4 Flash 0731 | 82,8 | 80% | 100% | 100% | 80% | 60% | 80% |
| 4 | Grok 4.5 | 82,7 | 100% | 100% | 100% | 100% | 100% | sınır |
| 5 | GPT-5.6 Terra | 77,3 | 80% | 60% | 100% | 80% | 60% | 60% |
| 6 | GPT-5.6 Luna | 77,0 | 80% | 60% | 100% | 60% | 80% | 60% |
| 7 | Kimi K3 | 75,9 | 100% | 100% | 80% | 80% | 80% | ret |
| 8 | DeepSeek V4 Pro | 74,1 | 80% | 80% | 80% | 80% | 80% | 40% |
| 9 | GLM 5.2 | 71,6 | 100% | 60% | 80% | 60% | 60% | 100% |
| 10 | Qwen3.6 27B | 67,3 | 100% | 80% | 80% | 100% | 100% | sınır |
| 11 | Qwen3.8 Max | 66,0 | 60% | 80% | 60% | 40% | 80% | 60% |
| 12 | Claude Opus 5 | 50,7 | 40% | 40% | 40% | 40% | 0% | 40% |
| 13 | Gemini 3.6 Flash | 48,8 | 20% | 40% | 40% | 40% | 40% | 0% |
| 14 | Claude Sonnet 5 | 35,6 | 60% | 40% | 0% | 20% | 40% | 40% |
| 15 | Gemma 4 31B | 17,6 | 20% | 0% | 0% | 0% | 0% | sınır |
MiniMax M3 sıralama dışı — format ihlali 22/30 hücre. Ham puanı 22,3.
Görev türü
- aggregation
- 63% n=90
- multi_hop
- 73% n=184
- single_hop
- 76% n=90
- temporal_coreference
- 31% n=90
Kapasite bulguları
- 15 hücre Modelin kanonik bağlam penceresi bu kovaya yetmiyor.
- 3 hücre İstek, modelin kendi tokenizasyonunda pencereyi aşıyor.
- 8 hücre Sağlayıcı, ilan edilen pencereye rağmen isteği reddetti.
Sayımlar hücre düzeyindedir; bir kova ancak beş hücresinin tamamı gönderilemediğinde tabloda — görünür.
Yöntem ve sınırlar
- Kova başına 5 soru: tek yanlış cevap doğruluğu %20 oynatır.
- Judge deepseek/deepseek-v4-pro; tutarlılık %88.1; henüz insan kalibrasyonu yok, sıralamaya girmez.
- Sözleşme dışı cevaplar tanısal bir gözlemdir ve sıralamayı belirlemez. Format ihlali ise puana girer: ayrıştırılamayan cevap doğru cevap sayılmaz, oranı yarıyı aşan model sıralama dışı kalır.
- suite qa-v1/execution-v3 · merkle ca0d86b4a1c0… · $178.7