Apache Ignite auf Raspberry Pi

Das Buchprojekt nimmt Gestalt an. Es war nicht ganz einfach, Apache Ignite auf Raspberry Pi zu installieren und anschließend mit Apache Structured Streaming in dieser facettenreichen In-Memory-Datenbank zu speichern. Doch dann hat es geklappt und wird in mein Buch einfließen.

Kafka und Spark auf Raspberry Pi installiert

Mein neues Buchprojekt hat die Startphase erfolgreich überstanden. Gerade habe ich Apache Kafka und Apache Spark auf meinem Raspberry-Pi Trainings-Cluster installiert. Jetzt stelle ich erste Streaming Programme zusammen um Schritt für Schritt in die Thematik einzuführen.

BaselOne

Gerade schreibe ich meinen Vortrag an der BaselOne am 17.10.2019

Herausforderungen des Realtime Big Data Stream Processing

Event-Stream-Verarbeitung wird Big Data fähig. Die Internet-Riesen haben solche Systeme längst im Einsatz. Die Open Source Systeme sind genauso schlagkräftig und werden ständig verbessert. Beispiele aus der Apache Software Foundation sind Spark, Flink, Pulsar, Kafka.

Die Anwendungsfälle sind vielfältig – sie reichen von Social Media, über IoT bis hin zur realtime Log-Überwachung. Als Anwender fordern wir von einem Streaming-System Eigenschaften wie: Hoher Durchsatz (big data), geringe Latenzzeit (realtime), SQL-Abfragen und präzise Ergebnisse.

Der Vortrag beleuchtet die technischen Herausforderungen und zeigt einige prominente Lösungsansätze, wie Windowing oder Watermarks.

LAS X – Online Konferenz

Am 21. und 22. Mai fand zum 10. Mal die LAS Konferenz statt. Und zum ersten Mal wurde ein Track auch online ausgestrahlt. Die Online-Konferenz wurde im CoLearning Space durchgeführt.

durchgeführt.

Schon im Vorfeld der Konferenz organisierten wir einige Aktivitäten online:

  • den Call for Speaker
  • den Call for Logos
  • das Community Voting für die Beiträge an der LAS-Konferenz
  • das Community Voting zur Wahl des Gewinner-Logos

An den Konferenz-Tagen selbst waren wir (Andreas Buzzi und ich) vor Ort und haben die Beiträge des Online-Tracks live gestreamt und gleichzeitig aufgezeichnet.

Sie sind jetzt auf dem CoLearning Space. Wer dort neu ist, kann sich gerne registrieren und selbst nachschauen. Der Einschreibeschlüssel lautet LAS.

Ich danke der swissICT, der Fachgruppe Lean, Agile und Scrum und insbesondere dem Organisationsteam der LAS Konferenz – Carol, Simon, Andreas, Cem und Denniz für die intensiven Vorarbeiten der Konferenz.

Elemente im Hadoop Ökosystem

Das Hadoop Ökosystem wächst unermüdlich. Schon längere Zeit verfolge ich diese Entwicklungen und tauche immer wieder tief in ausgewählte Tools ein, gerade wenn ich einen neuen Kurs vorbereite.

Längst ist es nicht mehr möglich, eine übersichtliche Tool-Landschaft des Hadoop-Ökosystems zu zeichnen. In meinem heutigen Blog-Post auf tirsus.com zeige ich das Hadoop Ökosystem in Kategorien.

Big-Data-Training Band 1 nimmt Gestalt an

Aus dem Big Data Labor entsteht ein erstes Buch aus der Reihe Big-Data-Trainings.

Wer mit dem Big-Data-Labor starten will, braucht passende Infrastruktur auf. Die Varianten mit VirtualBox und AWS wurden bereits in Blog-Posts erläutert. Der Hauptteil in Band 1 des Big-Data-Training setzt Infrastruktur mit Bare-Metal, nämlich mit Raspberry-Pi auf. Das Buch braucht noch eine letzte Überarbeitung, Ilir Fetai ist am Korrekturlesen. Ud das Buch kann bald erscheinen.

Big Data Labor: Virtuelle Maschinen mit AWS

Die Cloud bietet Alternativen zum Aufbau von virtuellen Maschinen. Dadurch wird der Laptop entlastet. AWS bietet ein interessantes Einsteigerangebot zum Kennenlernen.

Im 5. Teil der Serie “Big Data Labor: Cluster aufsetzen” konfigurieren wir einen kleinen Cluster bei AWS.

Und obwohl der Cloud-Anbieter alle Tools, die wir im Big Data Labor kennen lernen, Out of The Box per Knopfdruck zur Verfügung stellt, werden wir anschließend von Hand die Installationen vornehmen. Es gibt keinen besseren Weg, Funktionalitäten und Zusammenhänge kennen zu lernen.