AI Gateway Hızlı Başlangıç

Genel Bakış

Bu sayfa, Apinizer AI Gateway modülünde ilk LLM Gateway'inizi uçtan uca kurmanız için gereken adımları gösterir.

Model Ekleyin

AI Gateway → Modeller ekranında, istek göndereceğiniz LLM sağlayıcısına (OpenAI, Anthropic, Azure, Vertex, Bedrock gibi bulut sağlayıcılar ya da vLLM, Ollama gibi şirket içi motorlar) ait bir bağlantı tanımlayın. Bağlantı, sağlayıcının API kimlik bilgilerini şifreli olarak saklar; uygulamanız gerçek anahtarı hiç görmez.

Detaylı adımlar için LLM Sağlayıcılar ve Modeller sayfasına bakın.

LLM Gateway Oluşturun

AI Gateway → LLM Gateway ekranında Yeni'ye tıklayın. Adı ve Geçit Adresi alanlarını doldurup kaydedin.

Yeni LLM Gateway'in Yönlendirme sekmesinde Varsayılan Hedef Grubu altından LLM Provider ve Model seçin, ardından tekrar kaydedin.

Dağıtın ve Adresi Kopyalayın

LLM Gateway'i bir ortama dağıtın (deploy). Yönlendirme sekmesinin altındaki Uç Noktalar paneli, dağıtılan her ortam için gateway adresini https://<gateway-access-url>/<relative-path> biçiminde gösterir; yanındaki simgeyle kopyalayabilirsiniz. Adresin yanındaki Test düğmesiyle Test Console üzerinden hızlıca deneme yapabilirsiniz — detaylar için Yönlendirme ve Failover sayfasına bakın.

OpenAI SDK base_url Yönlendirmesi

İstemci kodunuzda base_url olarak kopyaladığınız adresin sonuna /v1 ekleyin:

from openai import OpenAI

client = OpenAI(
    api_key="tuketici-anahtariniz",
    base_url="https://<gateway-access-url>/<relative-path>/v1"
)

Bunun dışında istemci kodunuzda herhangi bir değişiklik gerekmez.

Yeni bir LLM Gateway'de politika yoktur, bu yüzden Apinizer api_key değerini kontrol etmez; SDK için boş olmayan bir değer yeterlidir. Anahtar, LLM Gateway'e bir kimlik doğrulama politikası eklediğinizde doğrulanır ve o zaman bir Tüketici'nin anahtarı olmalıdır.

İlk İsteği Gönderin (Streaming)

Sohbet tamamlama isteğinizi akış (streaming) modunda gönderin:

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Merhaba"}],
    stream=True
)

for chunk in response:
    print(chunk.choices[0].delta.content, end="")

İstek, siz politika olarak eklediyseniz korumalar, semantik önbellek ve hız sınırlaması aşamalarından geçtikten sonra yönlendirmede seçilen LLM sağlayıcısına iletilir ve yanıt chunk başına geri akar.

Yeni bir LLM Gateway, istemcinin gönderdiği stream değerini izler. Korumalar, semantik önbellek ve token limitleri siz politika olarak ekledikten sonra devreye girer. LLM Gateway daha önce oluşturulduysa ve İstemci "stream" alanı ayarı Proxy ayarıyla üzerine yaz ise Yönlendirme sekmesindeki Streaming (SSE) anahtarı belirler; anahtarı kapalı bir gateway stream=True için de tek seferlik yanıt döner. Bkz. İstemci "stream" Alanı.

ipucu

İsteğinizin hangi aşamalardan geçtiğini görmek için AI Gateway Genel Bakış sayfasındaki istek akışı diyagramına bakabilirsiniz.

Sonraki Adımlar

LLM Sağlayıcılar ve Modeller

Sağlayıcı bağlantılarını yapılandırın

Token Rate Limit Politikası

LLM Gateway'in kullanım sınırını ayarlayın