Kafka
Genel Bakış
Amacı Nedir?
Kafka Connection (Bağlantı), Integration Flow veya Connector adımlarının merkezi topic erişim bilgilerini tek bir yerde saklayarak tekrar kullanılabilir hale getirir.
Çeşitli Kafka üretici/consumer özelliklerini propertiesMap üzerinden yöneterek mesajlaştırma altyapısında standart yapılandırmayı korur.
Enable Secure aktif edildiğinde SSL/TLS parametrelerini zorunlu kılarak kritik veri trafiğinin şifrelenmesini garanti altına alır.
Test Connection fonksiyonu ile bağlantı parametreleri Deployment öncesinde doğrulandığından, hata yakalama süreci hızlanır.
Çalışma Prensibi
Integration Flow veya Connector içerisinden Kafka Message Queue bağlantısı talep edildiğinde, sistem yapılandırılmış connection parametrelerini okur.
Enable Secure aktifse karşılıklı sertifika tabanlı Authentication uygulanır; opsiyonel olarak SASL/SCRAM bilgileri de propertiesMap içinden okunur.
TCP üzerinden Kafka wire protokolü ile topic'e mesaj gönderilir veya tüketilir; serializer ayarları propertiesMap'teki key.serializer ve value.serializer alanlarından alınır.
İşlem tamamlandıktan sonra bağlantı KafkaProducer instance'ı üzerinden açık tutulur; enable toggle pasif hale getirilmiş bağlantılar hiçbir Flow tarafından seçilemez.
Bağlantı hatası, timeout veya authentication hatası durumunda retry.backoff.ms ve max.block.ms değerlerine göre yeniden deneme yapılır, sonuç Apinizer mesaj servisine aktarılır.
Kullanım Alanları
Integration Flow içindeki "Send Message" veya "Consume Message" adımlarının tek tip Kafka topic'lerini hedeflemesi
Connector tabanlı veri toplama süreçlerinde merkezi Kafka yapılandırmasının paylaşılması
Scheduled Job'larda belirli aralıklarla Kafka'ya telemetri veya log gönderimi