Model Kataloğu ve Fiyatlandırma
Genel Bakış
Apinizer AI Gateway, kurulumla birlikte hazır bir model kataloğu ile gelir: onlarca LLM sağlayıcısına ait yüzü aşkın model, kimlik ve birim fiyatlarıyla önceden tanımlıdır. Yeni bir sağlayıcı bağlantısı eklediğinizde, o sağlayıcıya ait modeller kataloğdan otomatik olarak kullanılabilir hale gelir.
Katalog Kapsamı
Katalogda her model için şu bilgiler tutulur:
- Model kimliği — örn.
gpt-4o,claude-3-sonnet - Sağlayıcı — modelin ait olduğu LLM sağlayıcısı
- Birim fiyat — giriş (input) ve çıkış (output) token'ları için ayrı ayrı USD/1M token fiyatı
- Modalite — sohbet tamamlama, gömme (embedding), ses-metin, metin-ses, görsel üretim gibi desteklenen istek türü
| Sağlayıcı | Model | Giriş (USD/1M) | Çıkış (USD/1M) |
|---|---|---|---|
| OpenAI | gpt-4o | $2.50 | $10.00 |
| OpenAI | gpt-3.5-turbo | $0.50 | $1.50 |
| Anthropic | claude-3-opus | $15.00 | $75.00 |
| Anthropic | claude-3-sonnet | $3.00 | $15.00 |
Yukarıdaki tablo örnek amaçlıdır. Güncel katalog ve fiyatlar için AI Maliyet Ayarları sayfasına bakın.
Model Başına Ayar
Sistem tarafından tanımlanan modellerin yanı sıra, kendi özel modellerinizi (örn. ince ayarlı bir model) de katalogda benzersiz bir kimlikle ve kendi birim fiyatınızla tanımlayabilirsiniz.
Fiyatları görüntülemek ve güncellemek için AI Maliyet Ayarları sayfasına bakın.
Kataloğun Beslediği Alanlar
Model kataloğundaki birim fiyatlar yalnızca raporlama için değil, gateway'in çalışma zamanı kararları için de kullanılır:
- Maliyet takibi — her isteğin USD maliyeti, kullanılan token sayısı × katalogdaki birim fiyat ile hesaplanır (Raporlar ve Analitik)
- Bütçe ve kota uygulaması — aylık USD bütçesi ve model başına harcama sınırları katalog fiyatına göre hesaplanır (Token Kotaları ve Hız Sınırlaması)
- Maliyet-duyarlı yönlendirme — birden fazla eşit-öncelikli hedef tanımlıysa, en düşük maliyetli model katalog fiyatına bakılarak seçilebilir (Yönlendirme ve Failover)
Fiyat Değişikliğinin Yayılması
Bir LLM sağlayıcı bağlantısı, kullandığı modellerin bilgilerini kendi içinde gömülü bir kopya olarak taşır. Katalogdaki bir modelin fiyatını düzenleyip kaydettiğinizde, o modeli içeren bağlantılardaki bu kopyaların fiyatları otomatik olarak güncellenir. Daha önce bu kopya yalnızca bir kez oluşturuluyordu; katalog fiyatı sonradan değiştiğinde bağlantıdaki kopya eski fiyatta kalıyordu.
Bu, yalnızca raporlamayı ilgilendiren bir ayrıntı değildir: bağlantıdaki gömülü fiyat, USD tabanlı bütçelerin ve model başına harcama sınırlarının uygulanmasını da besler. Bayat bir fiyat hem maliyet raporunu yanlış gösterir hem de kotanın yanlış noktada kesmesine yol açar (Token Kotaları ve Hız Sınırlaması).
Hangi bağlantılar güncellenir
- Katalog satırı sistem tanımlı (hazır) ya da yönetici kapsamlı ise, kurulumdaki tüm eşleşen bağlantılar güncellenir.
- Katalog satırı bir projeye aitse, yalnızca o projenin bağlantıları güncellenir.
- Her iki durumda da bağlantının sağlayıcı tipi ile katalog satırının sağlayıcı tipi aynı olmalıdır.
Hangi alanlar güncellenir
Yalnızca fiyat alanları ve kullanımdan kaldırıldı (deprecated) işareti yayılır. Fiyat alanları şunlardır: 1 milyon token başına giriş, çıkış ve önbelleğe alınmış giriş fiyatı; görsel başına fiyat; ses dakikası başına fiyat; TTS karakteri başına fiyat.
Bağlam penceresi (context window), maksimum çıktı token sayısı, yetenekler (capabilities) ve modalite bilgisi ezilmez. Bu alanlar bağlantı başına geçersiz kılma (override) olarak kalır, çünkü yönetici onları o bağlantı için bilerek daraltmış olabilir.
Ne zaman deploy tetiklenir
- Hiçbir fiyat gerçekten değişmediyse kayıt da worker deploy'u da tetiklenmez; gereksiz yeniden yükleme olmaz. Yalnızca ölçeği farklı olan aynı değer (örneğin
2.50ile2.5) değişiklik sayılmaz. - Etkin bağlantılar otomatik olarak yeniden deploy edilir; böylece gateway yeni fiyatı hemen uygulamaya başlar.
- Devre dışı (disabled) bir bağlantının fiyatı veritabanında yine tazelenir, ancak worker'a deploy edilmez — bağlantı kapalı kalır. Bağlantıyı sonradan etkinleştirdiğinizde güncel fiyatla deploy edilir.
Model tanımlarının dışa/içe aktarma ile taşınması bu senkronu tetiklemez. İçe aktarma sonrasında fiyatın bağlı bağlantılara yansıması için katalog kaydının arayüzden bir kez kaydedilmesi gerekir.
Sağlayıcı Tipi Kataloğu
Model fiyat kataloğunun yanı sıra bir de sağlayıcı tipi kataloğu bulunur. Bu ikisi farklı kavramlardır — karıştırmayın:
- LLM sağlayıcı bağlantısı (bkz. LLM Sağlayıcıları ve Bağlantılar) — kimlik bilgileriyle yapılandırılmış, çalışan bir bağlantı örneği.
- LLM sağlayıcı tanımı — bir sağlayıcı tipinin şablonu: varsayılan uç nokta, varsayılan API sürümü, varsayılan kimlik doğrulama şeması gibi bilgileri taşır. Yeni bir bağlantı oluştururken form bu tanımdan varsayılan değerlerle doldurulur; tanımın kendisinde bir sır (secret) bulunmaz.
Katalog, kurulumla gelen hazır tanımlarla projeye özel özel tanımların birleşimidir. Katalog, AI Gateway → LLM Sağlayıcılar sayfasının Tanımlar tab'ında görüntülenir: ad, kod, varsayılan uç nokta bilgileri ve hazır/özel rozeti kolonlarıyla listelenir.
Kurulumla birlikte gelen tanımlar (OpenAI, Anthropic, Azure vb.) görüntülenebilir, ancak değiştirilemez veya silinemez. Özel (custom) tanımlar bu ekranda yeni oluşturulamaz — yalnızca Dışa/İçe Aktarma Sihirbazı ile içe aktararak ya da APIops REST API ile eklenir. Ekranda özel tanımlar için detay görüntüleme, dışa aktarma ve silme aksiyonları kullanılabilir.
Sağlayıcı tipi kataloğu APIops REST API ile de yönetilebilir; bkz. API Referansı: LLM Provider Definitions.