BaselOne

Gerade schreibe ich meinen Vortrag an der BaselOne am 17.10.2019

Herausforderungen des Realtime Big Data Stream Processing

Event-Stream-Verarbeitung wird Big Data fähig. Die Internet-Riesen haben solche Systeme längst im Einsatz. Die Open Source Systeme sind genauso schlagkräftig und werden ständig verbessert. Beispiele aus der Apache Software Foundation sind Spark, Flink, Pulsar, Kafka.

Die Anwendungsfälle sind vielfältig – sie reichen von Social Media, über IoT bis hin zur realtime Log-Überwachung. Als Anwender fordern wir von einem Streaming-System Eigenschaften wie: Hoher Durchsatz (big data), geringe Latenzzeit (realtime), SQL-Abfragen und präzise Ergebnisse.

Der Vortrag beleuchtet die technischen Herausforderungen und zeigt einige prominente Lösungsansätze, wie Windowing oder Watermarks.

LAS X – Online Konferenz

Am 21. und 22. Mai fand zum 10. Mal die LAS Konferenz statt. Und zum ersten Mal wurde ein Track auch online ausgestrahlt. Die Online-Konferenz wurde im CoLearning Space durchgeführt.

durchgeführt.

Schon im Vorfeld der Konferenz organisierten wir einige Aktivitäten online:

  • den Call for Speaker
  • den Call for Logos
  • das Community Voting für die Beiträge an der LAS-Konferenz
  • das Community Voting zur Wahl des Gewinner-Logos

An den Konferenz-Tagen selbst waren wir (Andreas Buzzi und ich) vor Ort und haben die Beiträge des Online-Tracks live gestreamt und gleichzeitig aufgezeichnet.

Sie sind jetzt auf dem CoLearning Space. Wer dort neu ist, kann sich gerne registrieren und selbst nachschauen. Der Einschreibeschlüssel lautet LAS.

Ich danke der swissICT, der Fachgruppe Lean, Agile und Scrum und insbesondere dem Organisationsteam der LAS Konferenz – Carol, Simon, Andreas, Cem und Denniz für die intensiven Vorarbeiten der Konferenz.

Elemente im Hadoop Ökosystem

Das Hadoop Ökosystem wächst unermüdlich. Schon längere Zeit verfolge ich diese Entwicklungen und tauche immer wieder tief in ausgewählte Tools ein, gerade wenn ich einen neuen Kurs vorbereite.

Längst ist es nicht mehr möglich, eine übersichtliche Tool-Landschaft des Hadoop-Ökosystems zu zeichnen. In meinem heutigen Blog-Post auf tirsus.com zeige ich das Hadoop Ökosystem in Kategorien.

Big-Data-Training Band 1 nimmt Gestalt an

Aus dem Big Data Labor entsteht ein erstes Buch aus der Reihe Big-Data-Trainings.

Wer mit dem Big-Data-Labor starten will, braucht passende Infrastruktur auf. Die Varianten mit VirtualBox und AWS wurden bereits in Blog-Posts erläutert. Der Hauptteil in Band 1 des Big-Data-Training setzt Infrastruktur mit Bare-Metal, nämlich mit Raspberry-Pi auf. Das Buch braucht noch eine letzte Überarbeitung, Ilir Fetai ist am Korrekturlesen. Ud das Buch kann bald erscheinen.

Big Data Labor: Virtuelle Maschinen mit AWS

Die Cloud bietet Alternativen zum Aufbau von virtuellen Maschinen. Dadurch wird der Laptop entlastet. AWS bietet ein interessantes Einsteigerangebot zum Kennenlernen.

Im 5. Teil der Serie „Big Data Labor: Cluster aufsetzen“ konfigurieren wir einen kleinen Cluster bei AWS.

Und obwohl der Cloud-Anbieter alle Tools, die wir im Big Data Labor kennen lernen, Out of The Box per Knopfdruck zur Verfügung stellt, werden wir anschließend von Hand die Installationen vornehmen. Es gibt keinen besseren Weg, Funktionalitäten und Zusammenhänge kennen zu lernen.

Big Data Labor: Virtuelle Maschinen vernetzen

Teil 4 des Big Data Labors ist bereit. In den ersten Teilen habe ich gezeigt, wie man mit VirtualBox eine Reihe von virtuellen Maschinen aufbaut und klont.

Damit ein Big Data Labor entsteht, vernetzen wir jetzt diese virtuellen Maschinen zu einem kleinen Cluster. Hier gehts zum Artikel.

LAS X – Auswertung Voting

Statistiken zum Community Voting für die LAS X Konferenz und Logo-Wettbewerb.

Vielen Dank an alle, die am Community-Voting für das Programm der nächsten LAS-Konferenz so rege mitgemacht haben.

Wir haben ein provisorisches Programm zusammengestellt und warten jetzt auf die Zusagen der Speaker. Vielleicht ergibt sich noch die eine oder andere Änderung.

Ich bin gerade dabei, die Ergebnisse des Votings zusammenzufassen. Sie werden bald auf dem CoLearning Space veröffentlicht.

Bis dahin: Ihr könnt noch immer einen Logo-Vorschlag einreichen. Eingabeschluss ist am 28.2.19 und anschliessend auch das Logo für die LAS X-Konferenz voten. Es winken interessante Preise. Mehr dazu auf dem CoLearning Space (Enrolment Key ist LAS)

Nachtrag: Mittlerweile sind die Ergebnisse auf dem CoLearning Space veröffentlicht. Enrolment-Key ist LAS

Big Data Labor: Virtual Box einrichten und klonen

Im dritten Beitrag in der Serie Big Data Labor: Virtual Machine Cluster zeige ich, wie mit Hilfe von Virtual Boxes ein kleiner Cluster errichtet werden kann.

Im dritten Beitrag in der Serie Big Data Labor: Virtual Machine Cluster zeige ich, wie mit Hilfe von Virtual Boxes ein kleiner Cluster errichtet werden kann. Natürlich könnte man auch eine andere Virtualisierungstechnologie verwenden. Für Virtual Box sprechen zwei Gründe:

  1. Virtual Boxes sind beliebt im Ausbildungskontext.
  2. Alle für das Big Data Labor notwendigen Features sind in der kostenlosen Version inbegriffen.

Letztendlich sind die virtuellen Maschinen nur Mittel zum Zweck: Für das Big Data Labor brauchen wir eine Spielwiese und virtuelle Maschinen sind gut geeignet für die ersten Schritte in Richtung Big-Data-Technologien.

Ich bin auch gerade dabei, ein E-Book zu verfassen: Ein Schritt-Für-Schritt Tutorial zum Aufbau eines Clusters aus Raspberry Pi. Eine weitere Möglichkeit, eine Laborumgebung für Big-Data Technologien zu schaffen.

Hier gehts zum Artikel: Virtual Box einrichten und klonen.