Apinizer Varken llm-d'ye İhtiyacınız Var mı?
Kısa cevap: çoğu durumda hayır. İhtiyacınız olduğunda da llm-d'yi Apinizer'ın yerine koymuyorsunuz, arkasına ekliyorsunuz. Bu cevaba nasıl vardığımızı rakamlarla anlatıyoruz. llm-d'nin önde olduğu tek senaryo da bunlara dahil.

Kendi vLLM sunucularını işleten bir müşterimiz bu hafta bize şunu sordu: "llm-d'yi Apinizer'a entegre etmeli miyiz?"
Soru yerinde. llm-d, Kubernetes için geliştirilen açık kaynak bir inference scheduler. Bir modelin birden fazla vLLM kopyası varsa isteği hangisine göndereceğine o karar veriyor. Bu kararı verirken kopyaların kuyruğuna, KV-cache doluluğuna ve prompt'un hangi kopyanın önbelleğinde olduğuna bakıyor.
LLM servis ederken maliyetin önemli bir kısmı bu karardan çıkıyor. Sohbetin yeni turu önceki turun önbelleğini taşıyan kopyaya giderse ilk token neredeyse hemen gelir. Başka bir kopyaya düşerse bütün konuşma baştan hesaplanır.
Apinizer AI Gateway'de bu işi yapan bir algoritma zaten var: Prefix Affinity, yani aynı sohbeti aynı kopyaya yapıştıran yönlendirme. "Gerek yok" demek kolaydı. Biz önce ölçmeyi seçtik.
Aynı gateway'den, aynı vLLM kopyalarına, aynı sohbetleri iki yoldan gönderdik. Bir yolda kopyayı Apinizer seçti, öbür yolda llm-d. Ölçümleri üç sürüm adayı boyunca tekrarladık. Bu yazıdaki sonuçlar yayındaki Apinizer 2026.10.4 ile alındı. Sonuçlardan biri llm-d'nin lehine; onu da olduğu gibi aktarıyoruz.