Token Rate Limit Politikası
Token Kotaları ekranı ve bu ekranın yazdığı kuruluş, uygulama, proje ve genel varsayılan bütçeler kaldırıldı. Bu bütçeler yükseltmede silinir; Limit Planına dönüştürülmez. Yeni yapı:
- Çağıran başına limit (tüketici, API istemcisi, kuruluş, uygulama): Limit Planları.
- Proje ve platform limiti kaldırıldı: Proje ve Platform Limitleri Kaldırıldı.
- LLM Gateway'in kendi limiti: bu sayfadaki Token Rate Limit politikası.
Ayrıntı için bkz. Desteği Sonlandırılanlar ve Kaldırılanlar.
Token limiti yönetimi AI Gateway lisans modülüne aittir: bu modül olmadan AI Gateway ekranları Manager'da gizlenir.
API bu kapıya bağlı değildir. Yönetim API'si ve APIops uç noktaları, lisansı AI Gateway'i içermeyen bir kurulumda da normal yanıt verir.
Modülü kaybetmek hiçbir şeyi silmez: mevcut yapılandırma ve kullanım sayaçları korunur. Zaten deploy edilmiş Worker'lar kendilerine verilen limitleri uygulamaya devam eder.
Politikanın Rolü
Token Rate Limit politikası bir LLM Gateway'i korur. Politikayı LLM Gateway'in istek politikalarına eklersiniz. Yeni oluşturulan bir LLM Gateway hiçbir politika olmadan gelir; bu korumayı kullanmak için politikayı kendiniz eklemeniz gerekir.
Politika iki şeyi sınırlar:
- LLM Gateway Limiti: proxy'ye gelen tüm çağıranların toplam token ve USD kullanımı.
- Aşırı Büyük İstek Koruması: tek bir isteğin boyutu.
Çağıran başına limitler bu politikada tanımlanmaz. Bu limitler Limit Planlarında tanımlanır ve politika olsa da olmasa da her AI isteğine uygulanır. Politikayı silmek ya da pasifleştirmek yalnız proxy'nin kendi korumasını kaldırır; çağıran limitleri çalışmaya devam eder.
LLM Gateway Koruması
LLM Gateway Koruması bölümünde proxy'nin kendi limitini tanımlarsınız. Limit, proxy'ye ulaşan tüm çağıranların toplamını sayar.
Limit alanlarının üstündeki LLM Gateway limitini uygula anahtarını açın. Anahtar kapalıyken limit alanları pasiftir, düzenlenemez ve proxy için toplam limit uygulanmaz.
Limit formu şu alanları içerir:
| Alan | Anlamı |
|---|---|
| Token/Dakika, Token/Saat, Token/Gün, Token/Ay | Zaman pencerelerine göre token limitleri. |
| USD/Dakika, USD/Saat, USD/Gün, USD/Ay | Zaman pencerelerine göre harcama limitleri. USD/Dakika en çok 4 ondalık basamak, diğerleri 2 ondalık basamak kabul eder. |
| Sert Sınır (%) | Aşım Aksiyonu bu yüzdede başlar. 100, limit dolduğunda demektir. |
| Uyarı Eşikleri (%) | Limitin bu yüzdelerinde uyarı üretilir. |
| Aşım Aksiyonu | Engelle, Sadece Uyar, Ucuz Modele Düş ya da Yedeğe geç. |
Pencereler UTC takvimine hizalıdır: dakika, saat, gün ve ay başında yenilenir (gün 00:00 UTC'de başlar). İstekler tam olarak kabul veya reddedilir, kısmi kabul yoktur. Aylık bütçe her ay başında (UTC) sıfırlanır; önceki aydan devreden kota yoktur.
Model ve Sağlayıcı Limitleri
Model limitleri ve Sağlayıcı limitleri bölümleri, bir model ya da LLM sağlayıcısı için ayrı limit ekler. Her satırda bir model ya da sağlayıcı seçilmeli ve en az bir limit girilmelidir. Bir satır; saatlik, günlük ve aylık token ya da USD limitleri taşır, dakika penceresi yoktur (token ve USD için aynı). Aynı model ya da sağlayıcı iki kez yazılamaz. Satır yoksa proxy limiti tüm modelleri ve sağlayıcıları birlikte sayar. Model satırı, modeli sunan her sağlayıcıdaki o modeli sayar; bu, tek bir sağlayıcının tek bir modelini adlandıran Limit Planı model limitinden farklıdır.
Politikada istek sayısı limiti yoktur. İstek sayısı limiti (İstek/Dakika, Saat, Gün ya da Ay) AI Token Limiti türündeki bir Limit Planında tanımlanır; politika bu limiti kaydederken reddeder.
Değişkene Göre Böl
Değişkene Göre Böl alanında bir değişken seçerseniz proxy limiti değişkenin her değeri için ayrı sayılır (örneğin her tenant başlığı değeri için). Alanı boş bırakırsanız (Bölünmez) tüm çağıranlar için tek toplam sayılır.
Değere Özel Limitler altındaki satırlar, bir değere kendi limitini verir. Değer Ekle düğmesiyle satır eklersiniz:
| Alan | Anlamı |
|---|---|
| Değer | Bu satırın eşleştiği değişken değeri. |
| Düzenli İfade | Açıksa Değer düzenli ifade olarak okunur. İfadede bir yakalama grubu olmalıdır, örneğin ^(team)-.*$. Satır, ilk yakalama grubunun değeri altında sayar. Aynı grubu paylaşan değerler tek sayacı paylaşır. |
| Limit formu | Satırın kendi token ve USD limitleri, sert sınırı, uyarı eşikleri ve aşım aksiyonu. |
Kurallar:
- Değere özel satır için değişken seçilmiş olmalıdır.
- Her satırın anahtarı açık olmalı ve en az bir limit girilmelidir. Sunucu aksi halde kaydı reddeder. Bu kural APIops ve içe aktarma için de geçerlidir.
- Bir değere uyan satır varsa istek, üstteki limit yerine o satırın limitinden sayılır.
- Hiçbir satıra uymayan değerler, üstteki limitin kendi sayacında ayrı ayrı sayılır.
Bu yapı, API Daraltma politikasındaki değere özel satırlara benzer.
Aşım Davranışı
Bir istek limiti aşarsa Aşım Aksiyonu devreye girer:
| Davranış | Açıklama |
|---|---|
| Engelle | İstek HTTP 429 (Çok Fazla İstek) ile reddedilir. Sıkı maliyet tavanı için varsayılan seçimdir. |
| Yedeğe geç | İstek, yapılandırılmış yedek hedefe yönlendirilir. Yönlendirmede yedek sağlayıcı yoksa istek 429 ile reddedilir; bütçesi dolan ana sağlayıcıya gönderilmez. |
| Sadece Uyar | İstek normal şekilde işlenir; trafik kaydında işaretlenir ve Analitik → Pano (AI görünümü) ekranındaki Aktif alarmlar panelinde görünür (engelleme yapılmaz). |
| Ucuz Modele Düş | Aynı sağlayıcı içinde önceden tanımlanmış daha ucuz bir modele geçilir. Geçilecek model tanımlı değilse, sağlayıcı o modele izin vermiyorsa ya da tüketicinin o modele erişimi yoksa istek güvenli tarafta kalınarak 429 ile engellenir. |
Engellenen her istek Retry-After başlığı (saniye) taşır; değer aşılan pencerenin (dakika/saat/gün/ay) kapanışına kalan süredir. Bu değer worker'daki apinizer.limit.retryAfterClampSeconds JVM sistem özelliğiyle üst sınırlanır (varsayılan 86400, yani 1 gün). İstemci süre dolmadan erken tekrar denerse yeni bir 429 ve güncel bir Retry-After alır; sayaç doğruluğu bundan etkilenmez.
Engellenen istek, varsayılan olarak aşağıdaki gövdeyle, HTTP 429 ve ERR-263 hata koduyla döner:
{
"error": {
"code": 429,
"message": "AI token quota exceeded",
"type": "insufficient_quota"
}
}
Bu mesaj Hata Mesajları ekranından değiştirilebilir.
USD Limitleri İçin Model Fiyatı
USD limiti, modelin girdi fiyatını (milyon girdi token'ı başına fiyat) kullanarak hesaplanır. Fiyat, LLM sağlayıcısının Modeller bölümünde modelin kendi panelinde tanımlanır; bkz. LLM Sağlayıcılar ve Modeller.
Fiyat girmek isteğe bağlıdır. Fiyatı olmayan bir modelin maliyeti 0 sayılır. Bu yüzden USD limiti böyle bir modeli ölçmez. Fiyatsız bir modelde USD limitini kaydetmek reddedilmez. Bir modeli USD limitiyle sınırlamak istiyorsanız modelin girdi fiyatını tanımlayın ya da token limiti kullanın. Sağlayıcıda Yalnız listelenen modeller kapalıysa istemci, düz bir model kimliğiyle listede olmayan bir model de isteyebilir. Bu modelin fiyatı olmadığı için USD limiti onu hiçbir zaman ölçmez. Bkz. Sağlayıcının Listesinde Olmayan Modeller.
Değere özel satırlar için geçerli kurallar (satırın anahtarı ve en az bir limiti olmalı, düzenli ifade geçerli olmalı) da bir export paketi Token Rate Limit politikasını ya da politika grubunu değiştirirken ve politika sürümü geri alınırken çalışır.
Tek İstek Sınırı: Bağlam Penceresi Taşması
Yukarıdaki aşım davranışı bir zaman penceresi veya bütçe toplamının aşılmasını yönetir. Bundan ayrı olarak, Token Rate Limit politikasının Aşırı Büyük İstek Koruması bölümünde tek bir isteğin boyutuna üst sınır tanımlanabilir. Bu kontrol, zaman pencereli limit kontrolünden önce çalışan ucuz bir ön-kontroldür ve LLM Gateway Limitinden bağımsız yönetilir.
Bu bölüm tek başına çalışır. Yalnızca istek boyutunu sınırlamak istiyorsanız politikayı ekleyin, LLM Gateway Limiti anahtarını kapalı bırakın ve yalnız bu alanları doldurun. İstek cache'e hiç gitmez. Kota Rezervasyonu & Cache Davranışı ayarları (TTL, cache timeout, fail-open) yalnız LLM Gateway Limiti açıksa anlam kazanır.
| Alan | Anlamı | Varsayılan |
|---|---|---|
| İstek Başına Maks. Token | Tahmini token sayısı bu değeri aşan tek bir iste ği engeller. Boşsa sınır yoktur. | — |
| İstek Başına Maks. Karakter | İstem karakter sayısı bu değeri aşan tek bir isteği engeller; yalnız istem metninin kendisi sayılır, model ya da stream gibi JSON zarf alanları sayılmaz. Boşsa sınır yoktur. | — |
| Aşım Durumunda | İstek Başına Maks. Token aşıldığında ne olacağı: Engelle isteği reddeder; En Eski Mesajları Kes istek sığana kadar en eski konuşma turlarını atar. Karakter sınırı aşımı bu ayara bakmadan her zaman engeller. | Engelle |
Politikada artık Sınır Kaynağı alanı yoktur. Apinizer modelin context window değerini AI proxy'nin Yönlendirme sekmesinde kontrol eder. Bkz. Context Window Taşması. Model Bağlam Penceresi kaynağını kullanan politikalar artık yönlendirmenin varsayılanını izler. Sığmayan istek HTTP 400 ve ERR-311 hata koduyla reddedilir.
İstek Başına Maks. Token aşıldığında iki davranıştan biri uygulanır:
| Davranış | Açıklama |
|---|---|
| Engelle (varsayılan) | İstek reddedilir |
| En Eski Mesajları Kes | Konuşmanın en eski kullanıcı/asistan turları, tahmini token sayısı sınıra sığana kadar sırayla atılır. Sistem mesajları ve konuşmanın son kullanıcı mesajı asla atılmaz; bunlar tek başına sınırı aşıyorsa istek yine engellenir. |
İstek başına maksimum karakter sınırı bu ikinci davranışı desteklemez — o sınır her zaman isteği engeller, mesaj kesme uygulamaz.
Bir istek kesildiğinde yanıtta X-Apinizer-AI-Truncated header'ı döner (atılan mesaj sayısını taşır) ve durum Raporlar ve Analitik sayfasındaki Guardrail Tetiklenme raporunda görünür hale gelir.
Limitin Ne Zaman Denetlendiği
LLM Gateway koruma limiti yönlendirme aşamasında, sağlayıcı ve model kesinleştikten ve model erişim listesi çağıranı geçirdikten sonra çalışır. Politika zincirindeki sıraya göre çalışır ve kimlik doğrulama politikasının bulduğu çağıranı görür. İzlemede politika, istek hattında Deferred to the model decision in routing nedeniyle atlandı olarak, yönlendirmede ise ikinci bir kayıt olarak görünür.
Durum kodları şu sırayı izler:
- Önce istek gövdesi boyut sınırı (
413) ve stream uyumluluk kontrolleri (400) denetlenir. - Ardından token limiti (
429) ve önbellek cevabı gelir.
Çok uzun bir istem 429 yerine 413 alır. En Eski Mesajları Kes, gövde boyut sınırını (varsayılan 10 MB) aşan konuşmayı kesmez. Bu istek 413 alır.
Politika konuşmayı bağlam penceresine göre kısaltırsa Apinizer giden isteği kısaltılmış gövdeden yeniden kurar. Aynı sağlayıcı ve modeli kullanan failover bacakları da buna dahildir.
Eşik Uyarıları
Bir limit için uyarı eşiği geçildiğinde olay trafik kaydında işaretlenir ve Analitik → Pano (AI görünümü) ekranındaki Aktif alarmlar panelinde görünür. Eşik geçişi kendiliğinden bildirim göndermez; e-posta gibi bir bildirim almak için bir uyarı kuralı tanımlamanız gerekir:
- Kota Kullanımı ve Uyarılar ekranında, sayaç tipi olarak AI Token ve/veya AI Maliyet seçilmiş bir uyarı kuralı. Bu kural AI sayaçlarını yalnızca sayaç tipi listesinde bunlardan biri seçiliyse değerlendirir; liste boşsa yalnızca gateway tipleri değerlendirilir.
- Ya da AI Kota Soft-Cap Aşım Sayısı ve AI Kota Yalnız-Uyarı Sayısı alarm tetikleyicileri.
Eşik uyarıları yalnızca bilgilendirme amaçlıdır — uyarı mekanizmasında bir sorun oluşsa bile isteğin işlenmesi bundan etkilenmez.
Rezervasyon ve Uzlaştırma
İstek başladığında, tahmini token sayısı üzerinden geçici bir ön-rezervasyon yapılır; bu, aynı anda gelen çok sayıda isteğin kota sınırını aşmasını önler. Yanıt akışı tamamlandığında gerçek token kullanımı ile uzlaştırma yapılır: fark iade edilir ya da ek olarak düşülür. Rezervasyon süresi dolmadan yanıt tamamlanmazsa rezerve edilen miktar otomatik olarak serbest bırakılır. Tüm sağlayıcılar başarısız olursa ayrılan miktar geri bırakılır.
Kota Rezervasyonu & Cache Davranışı ayarları (Varsayılan Rezervasyon TTL (sn), Cache Bağlantı Timeout (sn), Cache Hatasında Geçir (fail-open)) yalnız politikanın LLM Gateway limiti için geçerlidir. Limit Planları kendi atamalarının cache ayarlarını kullanır.
Sayaçlar ortak önbellek servisinde tutulur: tüm worker'lar aynı sayacı kullanır ve worker yeniden başlayınca sayaç sıfırlanmaz.
Sayaç Deposuna Ulaşılamazsa
Sayaç deposuna (önbellek servisine) ulaşılamadığında ne olacağını, politikadaki LLM Gateway Limiti için Cache Hatasında Geçir (fail-open) anahtarı belirler. Bu anahtar yalnız politikanın LLM Gateway limiti için geçerlidir. Limit Planları kendi Sayaç Deposuna Ulaşılamazsa ayarını kullanır:
- Kapalı (varsayılan, güvenli seçim): istek reddedilir (HTTP 503, ERR-307; varsayılan mesaj: "AI token limit could not be checked: the counter store is unreachable (0)"). Mesajı Hata Mesajları ekranından ya da bu politikanın hata mesajı sekmesinden özelleştirebilirsiniz.
- Açık: istekler limitsiz geçer.
Kullanımı İzleme
- Kota Kullanımı ve Uyarılar ekranında LLM Gateway satırları bu politikadan gelir. Bölünmemiş her proxy limiti için bir satır, sabit değerli her değere özel satır için bir satır görünür. Değişkene göre bölünen politikanın üst limiti her değeri ayrı saydığı için tek bir satırı yoktur. Bkz. Kota Kullanımı ve Uyarılar.
- AI Token Kullanım Yüzdesi alarmı, LLM Gateway kapsamında bu politikanın LLM Gateway Korumasındaki aylık token limitini okur. Değişkene göre bölünmüş limitin tek bir toplamı olmadığı için alarm onu okumaz. Aylık token limiti yoksa alarm tetiklenmez. Bkz. Alarm.
- Analitik → Pano (AI görünümü) ekranında dönemin toplam token ve maliyetini, Rapor → Metrikler (AI görünümü) ekranının Kullanım Raporları tab'ında token ve maliyet kullanımını kişi, grup, OU, uygulama ve model bazında, Maliyet ve Tüketiciler tab'ında bu ayın maliyetini inceleyebilirsiniz. Bkz. Raporlar ve Analitik.
Kullanım rakamlarını Management API üzerinden okumak için bkz. Kullanım Raporları API'si. Bu beş salt-okunur GET ucu kurum, tüketici, uygulama, API istemcisi veya API proxy kapsamında token, ABD doları cinsinden maliyet, kalan pay, yüzde ve sıfırlanma zamanını verir. Üzerine rapor kurmadan önce bilmeniz gereken üç özellik:
- Tüketici, kurum ve LLM Gateway saatlik kullanım özetinden okunur — AI raporlarının kullandığı tablo aynıdır, bu yüzden rakamlar oradakilerle eşleşir. Yaklaşık saatte bir yenilenir ve trafik logu saklama süresinden bağımsız tutulur; geçen çeyrekle ilgili bir soru da doğru yanıtlanır. Taneciği bir UTC günüdür ve yanıt hangi günleri ölçtüğünü söyler.
- Uygulama ve API istemcisi bunun yerine trafik logundan okunur, çünkü özet uygulama boyutu taşımaz. Bu yüzden rakamları trafik logunun saklama süresiyle sınırlıdır ve 2026.09.2 öncesinde kaydedilen trafik belirli bir API istemcisine hiç atfedilemez.
- Bütçe bloğu canlıdır, geçmiş değildir. İstediğiniz döneme bakmadan her zaman şu an açık olan pencereleri anlatır ve ne kadar taze olduğunu belirtir (sayaçlar yaklaşık dakikada bir senkronlanır).
Bir kaynak okunamazsa çağrı yine başarıyla yanıtlanır, sonucu kısmi olarak işaretler ve ulaşamadığı ortamları adlandırır; okunamayan bir kaynağı hiçbir zaman sıfır tüketim olarak raporlamaz.
En İyi Uygulamalar
- Sadece Uyar ile başlayın: Yeni bir limit için ilk aşım aksiyonu Sadece Uyar olsun. Trafiği reddetmeden önce gerçek tüketimi öğrenirsiniz.
- Çağıran başına limit için Limit Planı kullanın: Bu politikadaki limit proxy toplamıdır.
- Pahalı modelleri ayrı sınırlayın: Model limitleri ile pahalı modelleri daha kısıtlayın.
- Eşik uyarılarını izleyin: Uyarı eşiklerini Analitik → Pano (AI görünümü) ekranındaki Aktif alarmlar panelinde takip edin; bildirim için bir uyarı kuralı tanımlayın.
Sorun Giderme
Limit beklenmedik şekilde aşıldı
- Çağıranın Limit Planlarını kontrol edin. Plan limiti proxy limitinden önce dolmuş olabilir.
- Model limitleri ve Sağlayıcı limitleri satırlarını kontrol edin.
Limit değişikliği etkili olmuyor
- Politikayı kaydettikten sonra yalnız yeni istekler yeni limiti kullanır; devam eden istekler etkilenmez.
- Politikanın LLM Gateway'e deploy edildiğini doğrulayın.
Sonraki Adımlar
Çağıran başına limitleri yeniden kullanılabilir planlarla tanımlayın
Model birim fiyatlarını ve maliyet hesaplamasını yapılandırın
Aşım durumunda devreye giren yedek hedefleri yapılandırın
Limit ve maliyet kullanımını raporlarda inceleyin