IoT Datastreaming und Big Data

Elektronische Geräte ausgestattet mit etlichen Sensoren sind heute allgegenwärtig. Täglich werden unzählige Daten generiert und gesammelt, im Privaten, im Professionellen-Sport, wie auch im Geschäftsalltag. Doch was steckt hinter diesen Daten, wofür werden diese gebraucht? Und wie können die gesammelten Daten optimal genutzt werden.

Lukas Heusser , Analytics Consultant
20. Dezember 2018

Big Data Analytics

Der Begriff «Big Data» ist nicht mehr aus dem Vokabular von modernen Firmen wegzudenken. Das Sammeln von Daten geschieht nach dem Prinzip “Mehr ist Mehr”. Doch das Sammeln und Speichern von Daten ist einfacher gesagt als getan. Oft ist es verbunden mit hohen Kosten und weiteren Aufwänden. Sind die Daten schlussendlich beisammen, kommt die Frage auf, was wird mit diesen Daten gemacht? Deshalb ist es wichtig, diejenigen Daten zu sammeln, die etwas erzählen. Big Data Analytics ist ähnlich wie das Erzählen einer Geschichte. Viele Daten können eine exzellente Geschichte mit viel Substanz darstellen. Basierend auf diesen können grundlegende Entscheidungen im Management getroffen werden oder aber auch Ausfälle und Reaktionszeit auf ein Minimum reduziert werden. Auf der anderen Seite erzählen falsch interpretierte Daten eine Geschichte, die nicht verstanden wird und mehr Fragen aufwirft als Antworten liefert.

Im Frühjahr 2018 erstellten wir von Swisscom Analytics einen «Proof of Concept» (PoC) für die Immobilienfirma der Swisscom. Das Ziel war es, die Sitzungszimmer innerhalb von Swisscom mit gewissen Sensoren auszustatten, um ein optimales Arbeitsklima zu schaffen und eine effiziente Energienutzung zu erlangen.

Informationsbeschaffung

Datenquellen

Bevor der PoC starten konnte, musste abgeklärt werden, welche Sensoren für die Machbarkeitsprüfung sinnvoll wären. Den PoC führten wir mit den folgenden Sensoren durch:

Temperatursensor
Luftfeuchtigkeitssensor
Lichtsensor
Ultraschallsensor

Mit dem Temperatursensor sollte geprüft werden, ob eine angenehme Temperatur herrscht oder ob diese nach oben oder unten angepasst werden sollte. Dasselbe machte der Luftfeuchtigkeitssensor für die Luftfeuchtigkeit. Mit dem Lichtsensor kann geprüft werden, ob die Beleuchtung im Zimmer an oder aus ist. Mit dem Ultraschallsensor konnte überprüft werden, ob jemand den Raum betritt oder verlässt.

Auswahl der Frameworks

Eine Voraussetzung des PoC war, Hortonworks Hadoop zu verwenden. Innerhalb von diesen Vorgaben waren wir frei bei der Wahl der Frameworks. Alle verwendeten Frameworks sind bei der Standardinstallation von Hortonworks Hadoop dabei.

Kafka

Um die Daten von den Sensoren in die Hadoop Umgebung zu laden, wurde Kafka verwendet. Kafka ist eine distributed Streaming Platform, welche optimal ist für Real-Time Streaming Applikationen. Ebenfalls ist Kafka kompakt und fehlertolerant.

Flume

Damit die Daten aus Kafka innerhalb des Hadoop File Systems verfügbar sind, müssen diese aus dem sogenannten Kafka-Topic in das HDFS geladen werden. Dafür wird Flume verwendet.

Hive

Da der Zugriff aus den Visualisierungsframeworks einfacher ist, wenn die Abfragen via SQL-Queries ablaufen können, wird Hive verwendet. Hive erlaubt es, die Daten im HDFS mit der bekannten SQL-Syntax abzufragen.

Visualisierungsframework

Beim Visualisierungsframework kann dasjenige verwendet werden, mit welchem der Benutzer sich am wohlsten fühlt, es sollte jedoch darauf geachtet werden, dass das Framework mit Hive kompatibel ist. Für den PoC wurde Zeppelin verwendet. Weitere Möglichkeiten sind SAP Lumira Discovery, Tableau, etc.

Möglichkeiten

Die aktuellen Sensoren geben Auskunft darüber, ob es zu heiss oder zu kalt ist, ob die Luftfeuchtigkeit auf einem angenehmen Level für die Benutzer ist und wie stark der Lichteinfall ist.

Spannender wird es beim Ultraschallsensor. Mit diesem kann kontrolliert werden, ob die Tür offen oder zu ist oder auch, wie viele Leute den Raum traversiert haben. Dazu müsste gezählt werden, wie oft die Schallschranke unterbrochen wurde. Die Ultraschallsensoren könnten auch über den Sitzplätzen positioniert werden, so kann analysiert werden, wo gerade eine Person sitzt.

Mit den gewonnenen Daten können zum Beispiel Luftbefeuchter spezifisch eingesetzt werden, wenn die Luftfeuchtigkeit zu tief ist. Aber auch das Licht kann gedimmt werden, wenn die Sonne stärker scheint, so können zudem Stromkosten gespart werden. Wenn mit dem Ultraschallsensor herausgefunden wird, ob noch Leute im Sitzungszimmer sind, kann das Licht entsprechend ein- oder ausgeschaltet werden.

Neben dem Potenzial, welches die vorhandenen Sensoren mitbringen, gibt es noch etliche weitere Sensoren, welche angebracht werden könnten. Beispielsweise Geräuschsensoren, um den Geräuschpegel zu messen.

Kontakt

Gerne erstellt “Swisscom Analytics” eine Machbarkeitsstudie für Ihre Big Data Anforderungen und unterstützt sie auf dem Weg zur erfolgreichen Analyse Ihrer gesammelten Daten.

Die Kontaktpersonen bei der Swisscom sind folgende:

Tim Giger (tim.giger@swisscom.com) – Hadoop Lead

Matthias Mohler (matthias.mohler@swisscom.com) – Analytics Lead

Lukas Heusser (lukas.heusser@swisscom.com) – Analytics Consultant