Sistem ölçümü
GLM-5.3 Flash çıkarım hızı
Üç giriş uzunluğunda çıktı hızı ölçümü
Ölçüm matrisi
30 ölçüm partisi · 186 istek · 190.464 çıktı tokenı
Diğer sütunlar için yana kaydırın.
| Giriş bağlamı | Eşzamanlı istek | Toplam çıktı | İstek başına çıktı | Ortalama TTFT | Tekrar |
|---|---|---|---|---|---|
| 1K | 1 | 46,928 tok/s | 46,928 tok/s | 0,572 s | 2 |
| 1K | 2 | 66,017 tok/s | 33,421 tok/s | 3,750 s | 2 |
| 1K | 4 | 124,103 tok/s | 31,661 tok/s | 1,972 s | 2 |
| 1K | 8 | 149,237 tok/s | 19,186 tok/s | 3,292 s | 2 |
| 1K | 16 | 197,076 tok/s | 12,814 tok/s | 6,018 s | 2 |
| 4K | 1 | 44,908 tok/s | 44,908 tok/s | 1,683 s | 2 |
| 4K | 2 | 67,695 tok/s | 33,964 tok/s | 3,224 s | 2 |
| 4K | 4 | 93,248 tok/s | 23,658 tok/s | 6,003 s | 2 |
| 4K | 8 | 121,984 tok/s | 15,633 tok/s | 10,068 s | 2 |
| 4K | 16 | 158,723 tok/s | 10,178 tok/s | 16,825 s | 2 |
| 16K | 1 | 37,540 tok/s | 37,541 tok/s | 6,382 s | 2 |
| 16K | 2 | 49,775 tok/s | 25,464 tok/s | 11,058 s | 2 |
| 16K | 4 | 66,418 tok/s | 16,854 tok/s | 18,142 s | 2 |
| 16K | 8 | 80,472 tok/s | 10,220 tok/s | 31,082 s | 2 |
| 16K | 16 | 93,158 tok/s | 5,910 tok/s | 56,446 s | 2 |
Çıktı hızı
Her nokta iki ölçüm partisinin ortalamasıdır. X ekseni log2 eşzamanlılık ölçeğidir.
Ölçüm tarihi: 5 Eylül 2026 · Her hücrede iki tekrar
Çıktı hızını eşzamanlı istek sayısına göre karşılaştırır.
16 eşzamanlı istek
Diğer sütunlar için yana kaydırın.
| Giriş bağlamı | İstek başına çıktı | Ortalama TTFT |
|---|---|---|
| 1K | 12,814 tok/s | 6,018 s |
| 4K | 10,178 tok/s | 16,825 s |
| 16K | 5,910 tok/s | 56,446 s |
Ölçüm ayarları
- Model
- GLM-5.3 Flash
- Revizyon
- NVFP4
- Tensör paralelliği
- 4
- Ağırlık / KV
- NVFP4 / BF16
- Spekülatif yöntem
- native NextN/MTP through SGLang EAGLE
- Akıl yürütme düzeyi
- high
- Sıcaklık
- 0
- İstenen çıktı
- 1.024 tokens
- EOS yoksay
- evet
Yöntem ve sınırlar
Toplu çıktı throughput'u, tamamlanan çıktı tokenlarının batch duvar saatine oranıdır ve giriş işlemeyi içerir. Her hücre iki batch'in aritmetik ortalamasıdır; her ölçüm isteği akıl yürütme dahil 1.024 tamamlanma tokenı üretir ve üç 64-token warmup isteği hariçtir.
- 128K servis sınırıdır; ölçülen girişler yalnız 1K, 4K ve 16K'dır.
- Bu, 5 Eylül 2026 tarihli tarihsel bir ölçümdür; servisin bugün canlı olduğunu göstermez.
- Throughput sonucu kaliteyi, doğruluğu veya bağlam kapasitesini ölçmez.
- Spekülatif olmayan bir kontrol koşusu bulunmadığından NextN/MTP için nedensel hızlanma iddiası desteklenmez.
- 3 ısınma isteği hariç.