Neue Möglichkeiten durch die Nutzung moderner Datenintegration und Streaming mit Qlik von SAP S/4 Hana

Data-Streaming und Integration sind Begriffe, die man nicht direkt mit einem gewöhnlichen Alltag assoziiert. Doch bereits die Nutzung von Gesundheitsapps, wie die der Apple Watch, oder alltägliche Anwendungen, wie eine Wetter App, setzen eine Generierung von Real-Time-Data voraus. Somit kommt fast jeder im Alltag mit Datensammlungen und deren Streaming in Berührung, ohne es zu wissen.

Auch für Unternehmen ist diese Technologie essenziell, um die immer größer werdenden Datenmengen möglichst schnell und effizient zu synchronisieren und für Analysen weiter verwenden zu können. Da es zudem in einem sich schnell bewegenden Markt dazu kommt, dass Daten in kurzer Zeit stark an Wert verlieren können, ist eine schnelle Datensammlung- und Verarbeitung ebenfalls relevant. Die optimale Nutzung von Real-Time Data ermöglicht somit neue Geschäftsmodelle, da hierbei die Vorteile, wie eine schnellere Reaktionsgeschwindigkeit, die Möglichkeit Störungen zu minimieren oder eine technische Überlastung vorzubeugen, nicht nur Zeit und Kosten sparen, sondern sogar einen Wettbewerbsvorsprung verschaffen können. Da durch die zunehmende Digitalisierung in der Arbeitswelt immer größer werdende Datenmengen entstehen, die hohe Ladezeiten, technische Belastungen und höhere Fehlerquoten verursachen können, steht die Implementierung einer leistungsstarken Technologie zur schnellen Datensammlung- und Verarbeitung immer mehr im Fokus der Unternehmen, um von deren Vorteilen profitieren zu können.

 

Produkte, wie QDI (Qlik Data Integration) vom Softwareanbieter Qlik sind feste Bestandteile des Dienstleistungsangebotes von Transform8 und können genau für dieses Problem angewendet werden. Diese dienen dabei als Schnittstelle zwischen Quellsystemen, wie SAP, und einem Zielsystem, wie Data Lakes oder einem Data Warehouse (DWH), und ermöglichen eine schnelle Synchronisation von Daten sowie die Nutzung von zusätzlichen Features wie dem Filtern oder Transformieren der Daten, bevor man diese in das Target überspielt. Für diesen Vorgang ist beispielsweise Qlik Replicate geeignet, ein Tool von Qlik Data Integration, welches die Änderungen der Daten aus den Quellsystemen sammelt und mit dem Erstellen von neuen “tasks“ einen Datenfluss zwischen zwei Systemen herstellt. In diesem Schritt können die Daten noch weiterbearbeitet und zusätzliche Features genutzt werden, wie das Erstellen von Alerts für die Überschreitung bestimmter Werte, um Fehler möglichst schnell zu erkennen. Durch diese Verknüpfung können anschließend Änderungen in den Daten innerhalb von Sekunden ins DWH kopiert und von dort aus für weitere Analysen genutzt werden.

Für eine effiziente Datenintegration gibt es verschiedene Change Data Capture Methoden (CDC), die beispielsweise von Qlik verwendet werden, um bestimmte Daten auszuwählen und sie aus den Quellsystemen zu transferieren. Vorzugsweise wird das Log-based CDC eingesetzt, da hierbei kein Einfluss auf ein Source-System notwendig ist. Zudem ergeben sich durch die Nutzung von CDC wesentliche Vorteile, wie der Wegfall von Massenaktualisierungen, die Ermöglichung von Echtzeitanalysen, eine Sicherstellung der Datenkonsistenz sowie eine gute Anbindung an Cloud-Systeme und Stream-Processing-Lösungen. 

Da mit der Log-based CDC-Methode nur die Änderungen in den Daten transferiert werden, kann eine bessere Performance erzielt werden und weniger Kosten für das Unternehmen bei der Nutzung von Cloud-Systemen anfallen.

 

Diese Tools sind somit eine effiziente technische Lösung, um große Datenmengen schnell und problemlos zu sammeln und verarbeiten zu können und so der Konkurrenz einen Schritt voraus zu sein.

 

Falls Sie noch Fragen zum Thema Datenintegration und Streaming haben, schreiben Sie uns jederzeit unter info@transform8.de.