AI Gateway Hızlı Başlangıç

Genel Bakış

Bu sayfa, Apinizer AI Gateway modülünde ilk AI Gateway'inizi uçtan uca kurmanız için gereken üç adımı gösterir.

LLM Sağlayıcı Bağlantısı Ekleyin

İstek göndereceğiniz LLM sağlayıcısına (OpenAI, Anthropic, Azure vb.) ait bir bağlantı tanımlayın. Bağlantı, sağlayıcının API kimlik bilgilerini şifreli olarak saklar ve dağıtım türünü (bulut / şirket içi) belirler.

Detaylı adımlar için LLM Sağlayıcıları ve Bağlantılar sayfasına bakın.

OpenAI SDK base_url Yönlendirmesi

İstemci kodunuzda base_url'i Apinizer AI Gateway adresinize, api_key'i ise bağlantı için tanımladığınız kimlik bilgisi anahtarına yönlendirin:

from openai import OpenAI

client = OpenAI(
    api_key="apinizer-kimlik-bilgisi-anahtarınız",
    base_url="https://apinizer-gateway-adresiniz.com/api/ai/v1"
)

Bunun dışında istemci kodunuzda herhangi bir değişiklik gerekmez.

İlk İsteği Gönderin (Streaming)

Sohbet tamamlama isteğinizi akış (streaming) modunda gönderin:

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Merhaba"}],
    stream=True
)

for chunk in response:
    print(chunk.choices[0].delta.content, end="")

İstek; korumalar, semantik önbellek, hız sınırlaması ve yönlendirme aşamalarından geçtikten sonra seçilen LLM sağlayıcısına iletilir ve yanıt chunk başına geri akar.

ipucu

İsteğinizin hangi aşamalardan geçtiğini görmek için AI Gateway Genel Bakış sayfasındaki istek akışı diyagramına bakabilirsiniz.

Sonraki Adımlar

LLM Sağlayıcıları ve Bağlantılar

Sağlayıcı bağlantılarını yapılandırın

Model Kataloğu ve Fiyatlandırma

Kullanılabilir modelleri ve birim fiyatları görün

Token Kotaları ve Hız Sınırlaması

Kullanım sınırlarını ayarlayın