Toplu mu, akış mı? Veri boru hattı için ilk karar

Bir veri boru hattı tasarlarken verilen ilk büyük karar, verinin toplu (batch) mı yoksa akış (stream) hâlinde mi işleneceğidir. Bu karar altyapının karmaşıklığını, maliyetini ve ekibin işletme yükünü belirler.

Asıl soru: veri ne kadar taze olmalı?

• Saatler ya da bir gün kabul edilebiliyorsa (raporlama, aylık analizler, model yeniden eğitimi) toplu işleme yeterlidir. Daha basit, daha ucuz ve hata ayıklaması daha kolaydır.
• Dakikalar gerekiyorsa sık çalışan küçük toplu işler (mikro-toplu) çoğu zaman iyi bir orta yoldur.
• Saniyeler gerekiyorsa (dolandırıcılık tespiti, anlık öneriler, sensör alarmları) akış işleme gerçekten gereklidir.

Akışın gizli maliyetleri

Akış sistemlerinde geç gelen veriler, yeniden işleme, tam olarak bir kez işleme garantisi ve durum (state) yönetimi gibi sorunlar ortaya çıkar. Bunlar toplu işlemede ya hiç yoktur ya da çok daha basittir.

Önerim: tazelik ihtiyacını iş birimiyle birlikte sayıyla yazın. “Gerçek zamanlı” denildiğinde sorulacak soru şudur: bu veri on dakika geç gelirse hangi karar değişir?