Raporlar ve Analitik
Genel Bakış
AI Gateway → Analitik, LLM tabanlı uygulamalarınızın kullanımını, maliyetini ve güvenilirliğini izlemek için tek bir sayfada toplanmış, tab'lı bir analitik ekranı sunar. Sayfa yedi tab'dan oluşur: Genel Bakış, Performans, Maliyet ve Tüketiciler, Kullanım Raporları, Güvenlik ve Guardrail'ler, Sağlayıcı Sağlığı ve Trafik. Proje (admin modda), ortam ve tarih aralığı filtreleri ile Excel'e Aktar / Yenile aksiyonları Trafik dışındaki tüm tab'lar arasında ortaktır — Trafik tab'ı kendi ortam/tarih filtrelerini taşır. Paylaşılan Tarih Aralığı filtresi son 1, 3, 5, 7, 14, 30 veya 90 gün seçeneklerini sunar; varsayılan değer son 1 gündür (bkz. Veri Tazeliği ve Kaynağı).
Sayfa aşağıdaki yetenekleri sunar:
- Çok boyutlu kırılım — kişi, grup, OU, uygulama, model, proje, dağıtım türü ve ekip boyutlarında ayrıştırma, satıra tıklayarak alt kırılıma inme (drill-down)
- KPI panosu — toplam token, aktif kullanıcı sayısı, ortalama kişi/ay kullanımı, en çok tüketen kişi/uygulama
- Guardrail tetiklenme raporu — hangi korumanın ne sıklıkla ve hangi aksiyonla tetiklendiği
- Önbellek verimliliği raporu — semantik önbellek isabet oranı ve tahmini maliyet tasarrufu
- Sağlayıcı sağlığı — bağlantı durumu ve gecikme geçmişi
- Gecikme (latency) kırılımı — koruma süresi, çıkarım süresi, sistem ek yükü
- XLSX dışa aktarımı — tüm veriler Excel'de detaylı analiz için
Bir tab'a doğrudan bağlantı vermek için ?tab= sorgu parametresini kullanın (örn. .../ai-dashboard?tab=usage). Genel Bakış varsayılan tab olduğundan URL'de görünmez; başka bir tab'a geçildiğinde adres çubuğu otomatik güncellenir. Eski bağımsız sayfalara (Kullanım Raporları, Guardrail Tetiklenmeleri, Önbellek Verimliliği) giden eski bağlantılar, bu sayfaya ilgili tab seçili şekilde otomatik yönlendirilir.
Bir A2A proxy'si ajanı doğrudan yayınlıyorsa (ajan yayınlama modu), gelen istek Apinizer üzerinde bir dil modeli çağrısıyla yanıtlanır. Bu çağrının token kullanımı ve maliyeti bu sayfadaki raporlara, alarmlara ve token kotalarına dahil edilir.
Sayım yalnızca ajanı yayınlayan modda geçerlidir; isteği dış bir ajana ileten proxy'ler kendileri model çağırmadığı için sayıma girmez. MCP proxy'leri de yönlendirme sırasında model çağırmaz, dolayısıyla kapsam dışındadır.
Sayım bu sürümden itibaren başlar — geçmiş A2A trafiği geriye dönük olarak raporlara veya kota tüketimine eklenmez.
Veri Tazeliği ve Kaynağı
Genel Bakış, Performans, Maliyet ve Tüketiciler ve Kullanım Raporları tab'larının çoğu paneli, tarih filtresinin hemen altındaki sabit bir bilgi satırının da hatırlattığı gibi canlı trafikten değil, gecelik konsolidasyon (özetleme) işinden okur. Bu, günlük kullanım özetlerini tutan bir arka plan işidir; bugünün verisi, bu iş o gece çalışana kadar bu panellere yansımaz. Güvenlik ve Guardrail'ler, Sağlayıcı Sağlığı ve Trafik tab'ları ise bu kapsamın dışındadır — tamamen canlı okur ve tazelik bilgi satırı bu üç tab'da görünmez.
Bazı paneller bu genel kuralın istisnasıdır ve Canlı etiketiyle işaretlenir: bunlar gecelik özetten değil doğrudan Elasticsearch'teki gerçek zamanlı trafikten okur ve bugünün verisini de kapsar. Canlı işaretlenen paneller arasında Saatlik (Intraday) Token Trendi, TTFT ortalaması ve Önbellek İsabet Oranı KPI kartları, Önbellek ve Guardrail Oranları paneli ile Gecikme (latency) kırılımı özeti yer alır.
Genel Bakış tab'ı
Sayfa ilk açıldığında görüntülenen varsayılan tab'dır; seçili proje/ortam/tarih aralığı için özet bir durum sunar: günlük token kullanım grafiği, sağlayıcı/model dağılımı, önbellek isabet oranı / guardrail tetiklenme oranı / PII tespit oranı gibi özet oranlar, sağlayıcı sağlığı özeti (Sağlayıcı Sağlığı tab'ına bağlantı ile), son alarmlar ve ortalama guardrail/çıkarım/sistem-ek-yükü süresinin özeti (ayrıntılı kırılım için bkz. Performans tab'ı).
Saatlik (Intraday) Token Trendi
Günlük trend grafiğinin yanında, seçtiğiniz son N saat (6 / 12 / 24 / 48) için ayrı bir saatlik token tüketimi grafiği görüntülenebilir — kısa vadeli anlık artışları günlük özeti beklemeden fark etmenizi sağlar. Bu grafik Canlı etiketi taşır: günlük trend grafiğinden farklı olarak gecelik konsolidasyonu beklemez, doğrudan Elasticsearch'teki trafikten okur ve bugünün verisini de kapsar. Günlük trend grafiğine de bir önbellek (cached) token serisi eklenmiştir; böylece giriş ve çıkış token'larının yanında semantik önbellekten karşılanan token miktarını da aynı grafikte izleyebilirsiniz.
Saatlik grafiğin "son N saat" seçici, günlük trend grafiğinin tarih aralığı filtresinden bağımsızdır; ikisi farklı zaman pencerelerini gösterir.
KPI Panosu
Tab'ın üstünde, seçili dönem için özet göstergeler yer alır:
- Toplam Token — dönem içindeki toplam giriş+çıkış+önbelleğe alınmış token
- Aktif Kullanıcı — dönem içinde en az bir istek gönderen kullanıcı sayısı
- Ortalama Kişi/Ay — kullanıcı başına ortalama aylık token tüketimi
- En Çok Tüketen — dönemin en yüksek token/maliyet tüketen kişi ya da uygulaması
Kişi başına raporlama sistem yöneticilerine açıktır.
Performans tab'ı
TTFT (Time To First Token) ve TPOT (Time Per Output Token) özet kartlarının yanında istek sayısı, hata oranı, günlük istek/token grafiği, önbellek isabet oranı ve model başına performans tablosunu (paylaşım, token, maliyet) sunar. Toplam gecikmenin bileşenlere ayrıldığı ayrıntılı kırılım da bu tab'dadır:
Gecikme (Latency) Kırılımı
Ortalama Latency: 1.245 saniye
Latency Bileşenleri:
- Guardrail işlemesi ....... 45 ms (3.6%)
- Çıkarım (LLM çağrısı) ... 1.100 ms (88.4%)
- Sistem ek yükü ........... 100 ms (8.0%)
Model Başına Latency:
gpt-4o ........... 1.450 ms
claude-3-sonnet .. 1.200 ms
gpt-3.5-turbo .... 0.950 ms
Sağlayıcı Başına Latency:
OpenAI ........... 1.300 ms
Anthropic ........ 1.150 ms
Azure ............ 1.500 ms
Dağıtım Türüne Göre:
Bulut ............ 1.280 ms
Şirket içi ....... 0.980 ms
Toplam gecikmeye ek olarak TTFT (Time To First Token — ilk token'a kadar geçen süre) ve TPOT (Time Per Output Token — çıkış token'ı başına süre) metrikleri de akış (streaming) istekleri için ayrı ayrı raporlanır.
Maliyet ve Tüketiciler tab'ı
Bütçe durumunu (limit, tüketilen yüzde, kalan gün, bütçe-üstü projeksiyonu), maliyet burndown grafiğini (gerçekleşen vs. bütçe), model başına maliyet dağılımını ve en çok tüketen kişi/uygulama tablosunu bir arada sunar. Eski bağımsız Önbellek Verimliliği ekranı da bu tab'ın altına taşındı: