Cloud Computing

Hybride Architekturen

In einer Zeit, in der die Datenvarietät und -generierung, sowie der Datentransfer stetig zunehmen, stellen sich die folgenden Fragen: Wie können Daten sicher und gleichzeitig in einem einfach skalierbaren System gehalten werden? Wie können Security Vorschriften und Governance Vorgaben eingehalten und die Vorteile von Public Clouds ausgeschöpft werden? Die Antwort: Eine hybride Cloud Architektur. Die hybride Cloud Architektur ist eine Mischung aus traditioneller IT, privaten und öffentlichen Clouds, sowie interner und externer Infrastruktur. Somit kann das Potenzial des Cloud Computing ausgenutzt werden, während die potenziellen Risiken und Security Vorschriften unter Kontrolle gehalten werden. Doch wie sieht eine solche hybride Cloud Architektur in der Praxis aus und was sind die Vorteile einer solchen Architektur?

Von Lukas Heusser, Analytics Consultant

AWS S3

AWS S3 ist ein Objektspeicherservice von Amazon AWS. Im Bereich des hybriden Speicher bietet S3 eine nahtlose Integration zwischen lokalen Anwendungen und dem S3 Speicher. Dafür bietet Amazon AWS verschiedene Dienste an, wie zum Beispiel AWS Storage Gateway und AWS DataSync. Die Vorteile von AWS S3 sind unter anderem die Skalierbarkeit und die Datenverfügbarkeit.

Speicher Scaling

Im Bereich des skalierbaren Speichers gibt es mehrere Möglichkeiten. Auf der einen Seite gibt es Produkte wie AWS Storage Gateway. Mit diesem Tool wird ein gesamtes Netzlaufwerk im S3 Speicher von Amazon AWS angelegt und gespeichert, welches lokal eingebunden und sehr schnell skaliert werden kann. Auf der anderen Seite gibt es die Möglichkeit, die Daten mithilfe eines ETL-Tools – wie zum Beispiel NiFi – regelmässig in einen Cloud Speicher, wie beispielsweise AWS S3, zu transferieren.

AWS Storage Gateway

AWS Storage Gateway ist ein hybrider Speicherdienst von Amazon AWS, welcher die Verwendung von Cloud Speicher lokal ermöglicht. Der Dienst verbindet die lokalen Applikationen mithilfe einer virtuellen Maschine oder einer Hardware-Gateway-Appliance mit den AWS Diensten. Der Storage Gateway ermöglicht die Verwendung von Cloud Ressourcen mit lokalen Daten und Anwendungen.

Die Vorteile des Storage Gateways auf einen Blick:

  • Einfach in Betrieb zu nehmen
  • Einfaches Einbinden der Ressourcen
  • Speicher kann u. a. wie ein Netzlaufwerk via iSCSI eingebunden werden
  • Daten werden in S3 gespeichert
  • Daten können einfach wiederhergestellt werden
  • Netzlaufwerke können einfach in darüberliegende Applikationen, wie zum Beispiel CDP, eingebunden werden
  • Speicher bis zu 100 TB pro Netzlaufwerk

Die Nachteile des Storage Gateways sind folgende:

  • Zusätzliche Netzwerkkomponente in Form einer VM oder Hardware
  • Benötigt rund 300 GB lokaler Speicher für den Upload Buffer und den Cache auf der Komponente

Das Fazit zum Storage Gateway:

Der AWS Storage Gateway ist eine simple aber effektive Lösung, um den On-Premises Speicher in die Cloud zu erweitern und um Cloud Ressourcen für lokale Daten und Anwendungen zu verwenden.

AWS Intelligent Tiering

Für den Object Storage von AWS (S3) gab es bisher die vier Speicherklassen:

  • Standard – für oft abgefragte Daten
  • Standard-IA – für selten abgefragte Daten
  • One Zone-IA – für unkritische und selten abgefragte Daten
  • Glacier – für selten und archivierte kritische Daten

Bisher musste beim Datenupload festgelegt werden, in welche Speicherklasse die Daten eingestuft werden sollten. Veränderten sich die Anforderungen an die Speicherklasse, war eine manuelle Anpassung notwendig. Nun gibt es eine neue Speicherklasse für S3 namens “AWS Intelligent Tiering”. Daten, welche sich in dieser Speicherklasse befinden, werden automatisch zwischen den Speicherklassen “Standard” und “Standard-IA” eingestuft, je nach Zugriffsmuster. Dabei werden die Dateizugriffe von der AWS analysiert und somit wird für jede Datei die ideale Speicherklasse ermittelt.

ETL-Tools

Für den Datentransport von einem lokalen System in die Cloud können auch ETL-Tools benutzt werden, wie beispielsweise Apache NiFi – ein Open Source ETL-Tool aus dem Apache Stack. Der grosse Unterschied von ETL-Tools zu den direkten Cloud Verbindungen ist, dass nur eine Verbindung zur Cloud besteht, wenn ein Transport ausgeführt wird. Zudem können die zu transportierenden Daten direkt im ETL-Tool verändert oder zusätzlich mit weiteren Informationen oder Logik angereichert werden, bevor sie aus dem On-Premises System extrahiert werden. Somit können zum Beispiel kritische und sicherheitsrelevante Daten bereits On-Premises anonymisiert werden, um die Compliance zu gewährleisten.

Apache Ozone

Als weitere Möglichkeiten gibt es Apache Ozone. Apache Ozone ist ein verteilter Key-Value Object-Store, welcher grosse und kleine Files verwalten kann, im Gegensatz zum HDFS, welches für grössere Dateien entwickelt wurde. Folgendes sind die Vorteile von Ozone:

  • Stark konsistent
  • Geschichtete Architektur, das Namespace Management ist geteilt von der Node und Block Management Schich
  • Schmerzlose Wiederherstellung, ähnlich wie im HDFS kann das HDDS nach katastrophalen Events mühelos und effektiv wiederhergestellt werden, ohne dass Daten verloren gehen
  • Open Source und dadurch eine grosse und hilfsbereite Community
  • Integration mit dem Hadoop Ökosystem

Obwohl Apache Ozone viele Vorteile hat, wäre ein produktiver Einsatz noch verfrüht, da Ozone erst in einer Alpha Version erhältlich ist. Wann ein erster Stable Release veröffentlicht wird ist aktuell noch nicht bekannt.

Computing

Auch im Bereich Computing bietet die Public Cloud viele Möglichkeiten. Um das Potential der Public Cloud auszunutzen gibt es zwei Möglichkeiten. Entweder wird alles Cloud Nativ entwickelt oder es werden Computing intensive Anwendungen in der Cloud entwickelt und Anwendungen mit kritischen und Sicherheitsrelevanten Daten werden weiterhin On-Premises entwickelt.

Cloud Native

Eine Möglichkeit die Vorteile einer Cloud zu nutzen ist, alle Anwendungen in der Cloud zu entwickeln. Die Vorteile dafür sind folgende:

  • Volle Ausnutzung der Elastizität und Skalierbarkeit der Cloud
  • Pricing passt sich der Nutzung an
  • Keine zusätzliche Infrastruktur, welche gewartet und betrieben werden muss

Die Anbieter, welche Dienste für die Applikationsentwicklung in der Cloud zur Verfügung stellen, sind unter anderem AWS, Snowflake, Azure und Databricks.

Separate Jobs

Bisher musste beim Datenupload festgelegt werden, in welche Speicherklasse die Daten eingestuft werden sollten. Veränderten sich die Anforderungen an die Speicherklasse, war eine manuelle Anpassung notwendig. Nun gibt es eine neue Speicherklasse für S3 namens “AWS Intelligent Tiering”. Daten, welche sich in dieser Speicherklasse befinden, werden automatisch zwischen den Speicherklassen “Standard” und “Standard-IA” eingestuft, je nach Zugriffsmuster. Dabei werden die Dateizugriffe von der AWS analysiert und somit wird für jede Datei die ideale Speicherklasse ermittelt:

  • Die Einhaltung von gesetzlichen und anderen Vorschriften
  • Die Nutzung der Skalierbarkeit und der Elastizität der Cloud

Eine solche Architektur zieht auch Nachteile mit sich und zwar folgende:

  • Verschiedene Systeme müssen betrieben und unterhalten werden
  • Der Upload der Daten in die Cloud kann einen Flaschenhals darstellen

Weitere Clouds

Neben AWS, der Public Cloud Lösung von Amazon, gibt es noch weitere Cloud Lösungen. Unter anderem gibt es Microsoft Azure, eine Public Cloud Lösung von Microsoft oder aber auch die Enterprise Service Cloud, eine Cloud Lösung von der Swisscom mit Datenhaltung in der Schweiz.

Enterprise Service Cloud

Die Swisscom Enterprise Service Cloud ist eine Cloud Lösung von der Swisscom und ist primär an Unternehmen gerichtet, welche den Zugang zu lokalen Experten wünschen und es wertschätzen ihre Daten in der Schweiz zu halten.

Auf der technischen Seite richtet sich die Swisscom Enterprise Service Cloud an Kunden mit komplexen IT Infrastrukturen.

Swisscom und die Cloud

Die Swisscom ist einer der Technologieführer im Bereich Cloud in der Schweiz. Neben verschiedenen Grossprojekten im Bereich der Public Cloud und zertifizierten Experten in den Bereichen Azure und AWS, betreibt die Swisscom mit der “Enterprise Swisscom Cloud” ihre eigene Cloud Infrastruktur. Somit ist die Swisscom der optimale Begleiter, unabhängig von ihren Ansprüchen an die Cloud.

Bei Interesse können sie sich gerne bei uns melden:
Lukas Heusser, Analytics Consultant

Lukas Heusser

Lukas Heusser

Analytics Consultant

Mehr getIT-Beiträge

Bereit für Swisscom

Finde deinen Job oder die Karrierewelt, die zu dir passt. In der du mitgestalten und dich weiterentwickeln willst.

Was du draus machst, ist was uns ausmacht.

Zu den Karrierewelten

Zu den offenen Security Stellen