AI Gateway Hızlı Başlangıç
Genel Bakış
Bu sayfa, Apinizer AI Gateway modülünde ilk AI Gateway'inizi uçtan uca kurmanız için gereken üç adımı gösterir.
İstek göndereceğiniz LLM sağlayıcısına (OpenAI, Anthropic, Azure vb.) ait bir bağlantı tanımlayın. Bağlantı, sağlayıcının API kimlik bilgilerini şifreli olarak saklar ve dağıtım türünü (bulut / şirket içi) belirler.
Detaylı adımlar için LLM Sağlayıcıları ve Bağlantılar sayfasına bakın.
İstemci kodunuzda base_url'i Apinizer AI Gateway adresinize, api_key'i ise bağlantı için tanımladığınız kimlik bilgisi anahtarına yönlendirin:
from openai import OpenAI
client = OpenAI(
api_key="apinizer-kimlik-bilgisi-anahtarınız",
base_url="https://apinizer-gateway-adresiniz.com/api/ai/v1"
)
Bunun dışında istemci kodunuzda herhangi bir değişiklik gerekmez. Proxy'nizin AI Routing sekmesindeki Uç Noktalar paneli, ortam başına gateway adresini kopyalamanızı ve yanındaki Test düğmesiyle Test Console üzerinden hızlıca denemenizi sağlar — detaylar için Yönlendirme ve Failover sayfasına bakın.
Sohbet tamamlama isteğinizi akış (streaming) modunda gönderin:
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": "Merhaba"}],
stream=True
)
for chunk in response:
print(chunk.choices[0].delta.content, end="")
İstek; korumalar, semantik önbellek, hız sınırlaması ve yönlendirme aşamalarından geçtikten sonra seçilen LLM sağlayıcısına iletilir ve yanıt chunk başına geri akar.
İsteğinizin hangi aşamalardan geçtiğini görmek için AI Gateway Genel Bakış sayfasındaki istek akışı diyagramına bakabilirsiniz.