BaselOne

Gerade schreibe ich meinen Vortrag an der BaselOne am 17.10.2019

Herausforderungen des Realtime Big Data Stream Processing

Event-Stream-Verarbeitung wird Big Data fähig. Die Internet-Riesen haben solche Systeme längst im Einsatz. Die Open Source Systeme sind genauso schlagkräftig und werden ständig verbessert. Beispiele aus der Apache Software Foundation sind Spark, Flink, Pulsar, Kafka.

Die Anwendungsfälle sind vielfältig – sie reichen von Social Media, über IoT bis hin zur realtime Log-Überwachung. Als Anwender fordern wir von einem Streaming-System Eigenschaften wie: Hoher Durchsatz (big data), geringe Latenzzeit (realtime), SQL-Abfragen und präzise Ergebnisse.

Der Vortrag beleuchtet die technischen Herausforderungen und zeigt einige prominente Lösungsansätze, wie Windowing oder Watermarks.

Schreiben Sie einen Kommentar