Im Gespräch mit Matt McLarty

Was sind Echtzeitdaten, welche Branchen profitieren davon? 

Echtzeitdaten, oft auch einfach als Datenströme oder Streaming-Daten bezeichnet, sind kontinuierliche und potenziell unendliche Sequenzen von Daten, die im Laufe der Zeit erzeugt und verarbeitet werden. Im Gegensatz zur traditionellen Stapelverarbeitung, bei der die Daten in festen Stücken oder Chargen gesammelt und analysiert werden, werden Datenströme kontinuierlich aufgenommen und verarbeitet, sobald sie generiert werden, normalerweise in Echtzeit oder nahezu in Echtzeit. Datenströme sind endlos und fließen kontinuierlich, wodurch sie sich für Anwendungen eignen, bei denen ständig neue Daten eintreffen, wie z. B. Aktualisierungen in sozialen Medien, Sensormesswerte, Finanzmarktdaten und IoT-Geräte (Internet der Dinge). Außerdem können Datenströme ein hohes Datenvolumen erzeugen, das herkömmliche Stapelverarbeitungssysteme überfordern kann. Die effiziente Verwaltung und Verarbeitung dieser großen Datenmengen stellt eine große Herausforderung dar. Und nicht zuletzt: Datenströme können verschiedene Arten von Daten enthalten, darunter Text, numerische Werte, Bilder, Videos und mehr. Der Umgang mit dieser Vielfalt erfordert flexible Verarbeitungstechniken.

In welchen Bereichen kommen sie zur Anwendung?

Echte Datenströme werden für Echtzeit-Analysen verwendet, bei denen Unternehmen Erkenntnisse gewinnen und Entscheidungen auf der Grundlage der aktuellsten Informationen treffen können. Dies ist in Bereichen wie Finanzen, E-Commerce und Gesundheitswesen von entscheidender Bedeutung. Finanzinstitute nutzen Datenströme, um betrügerische Aktivitäten in Echtzeit zu erkennen. Durch die kontinuierliche Analyse von Transaktionsdaten können sie verdächtige Muster erkennen und sofort Maßnahmen ergreifen, um Betrug zu verhindern. Datenströme werden zur Überwachung und Alarmierung in verschiedenen Bereichen eingesetzt, z. B. zur Netzwerküberwachung, zur Überwachung der Systemleistung und zur Umweltüberwachung. Abweichungen von erwarteten Mustern können Warnmeldungen oder automatische Reaktionen auslösen. Streaming-Daten werden für Empfehlungssysteme in Online-Plattformen wie Streaming-Diensten und E-Commerce-Websites verwendet. Diese Systeme analysieren das Nutzerverhalten in Echtzeit, um relevante Inhalte oder Produkte vorzuschlagen.

IoT-Geräte erzeugen riesige Mengen an Datenströmen von Sensoren und Geräten. Diese Daten werden für die vorausschauende Wartung, die Optimierung des Betriebs und die Verbesserung der Benutzererfahrung verwendet.

Stützen sich immer mehr Anwendungen auf Echtzeitdaten? Welche führenden Echtzeitanwendungen sehen Sie bei Unternehmen?

Die meisten Unternehmen gehen schon seit Jahren von Batch- zu Echtzeitanwendungen über, und die meisten Post-Web-Startups waren von Anfang an „echtzeitfähig“. Die „mobile first“-Revolution hat die Erwartungen der Verbraucher so weit geprägt, dass jeder von ihnen Echtzeit-Aktionen in all ihren Benutzererfahrungen erwartet. Das Ergebnis ist, dass die meisten Unternehmen ihren Kunden Echtzeit-Erlebnisse bieten. Die größere Herausforderung besteht darin, diese Erlebnisse relevant und intuitiv zu gestalten. Die Lösung für diese Herausforderung besteht darin, die richtigen Daten zur richtigen Zeit im richtigen Kontext bereitzustellen, und das ist nur möglich, wenn Ihr Unternehmen hoch integriert und automatisiert ist. Beispielsweise sollte ein Kunde dem Chatbot auf der Website keine identifizierenden Informationen zur Verfügung stellen müssen, wenn er bereits eingeloggt ist. Dies ist ein Anzeichen dafür, dass die IT-Landschaft eines Unternehmens zu isoliert ist. Das Unternehmen ist vielleicht in der Lage, einige Echtzeit-Interaktionen anzubieten, aber es wird nicht in der Lage sein, die Echtzeit-Erwartungen seiner Kunden zu erfüllen.

Sind die Unternehmensinfrastrukturen bereit für die Bereitstellung von Echtzeitdiensten, oder ist noch mehr Arbeit nötig?

In der Unternehmens-IT prallen zwei Welten aufeinander: die Welt der benutzerseitigen Anwendungen und die Welt der Analytik. Die Welt der Anwendungen ist von Natur aus echtzeitfähig, aber die Welt der Analysen war in der Vergangenheit eher stapelgesteuert, um die Datenmengen im Unternehmen zu verarbeiten. Mit der Weiterentwicklung der Big-Data-Technologie stehen nun die Möglichkeiten zur Verfügung, große Datenmengen schnell und in großem Umfang zu verarbeiten. Die jüngste explosionsartige Zunahme der Konzentration auf KI – die in der Welt der Analytik beheimatet ist, deren Wert jedoch in der Welt der Anwendungen erkannt wird – ist eine treibende Kraft, die die Konvergenz der Welten beschleunigen wird. Sind die meisten Unternehmen bereit für diese Zukunft? Noch nicht, aber sie haben die grundlegenden Teile des Puzzles an ihrem Platz. Ein Umdenken, das sich aus der Konvergenz ergeben wird, ist die Erkenntnis, dass es nicht wirklich Datenquellen und Datenziele gibt, wie es die Disziplin der Datenwissenschaft sieht. Vielmehr handelt es sich um eine Sammlung von Datenendpunkten, die bidirektional kommunizieren, und Echtzeit-Datenströme sind in diesem Zusammenhang von wesentlicher Bedeutung.

Sind die heutigen Datenbanken bereit, Unternehmen in Echtzeit zu unterstützen?

Um das Volumen und die Geschwindigkeit der Daten zu bewältigen, sind viele Unternehmen von stark normalisierten, gut strukturierten Data Warehouses zu unstrukturierten Data Lakes übergegangen. Die Herausforderung für die meisten ist nicht, wie sie mehr Daten sammeln können, sondern wie sie die vorhandenen Daten effektiv nutzen können. Viele Unternehmen sind darauf eingerichtet, riesige Datenmengen zu sammeln und sie für Offline-Datenanalysen zu nutzen. Aber es ist immer noch schwierig für sie, die Daten zu sichten, die Silos zu synthetisieren, sicherzustellen, dass die Daten aktuell und von höchster Qualität sind, Erkenntnisse abzuleiten und diese Erkenntnisse dann in Echtzeit-Kundenerfahrungen und automatisierte Geschäftsprozesse zu integrieren. Die Lösung dieser Herausforderung ist kein Datenbankproblem. Die Lösung erfordert eine fließende Integration von Datenquellen mit den Anwendungen, die die Prozesse ausführen und die Erlebnisse liefern. Echtzeit-Datenströme können den Datenfluss in dieser Landschaft bereitstellen, aber es sind auch zusätzliche Funktionen (iPaaS, API-Verwaltung, Data Governance, KI) erforderlich, damit das System effektiv und effizient funktioniert.

Welche potenziellen Risiken birgt der Rückgriff auf Echtzeitdaten und -analysen?

Ungenauigkeit ist das größte Risiko, wenn man sich zu sehr auf die Echtzeitdatenanalyse verlässt. Was ist, wenn Sie dem Kunden die falschen Daten präsentieren? Was ist, wenn Sie ihm eine Statusaktualisierung geben, die nicht die Aktion widerspiegelt, die er gerade in Ihrer mobilen App durchgeführt hat? Was ist, wenn Sie die falschen Daten verwenden, um dem Kunden ein personalisiertes Angebot zu unterbreiten? Schlussfolgerungen zu ziehen, ohne über genügend Informationen zu verfügen, kann ebenfalls ein Problem darstellen. Wir haben bereits extreme Beispiele für ungenaue Daten in der Welt der generativen KI gesehen, z. B. Chatbots, die „halluzinieren“, wenn sie nicht genügend Informationen haben. Es besteht auch die Gefahr, dass Daten verwendet werden, die nicht verwendet werden sollten. Dies kann das Vertrauen der Kunden untergraben, da sie sich fragen: „Woher weiß dieses Unternehmen diese Informationen über mich?“ Datenflüsse in Echtzeit verbessern definitiv die Verfügbarkeit und Geschwindigkeit von Daten in einem Unternehmen. Der Datenfluss muss jedoch durch Data-Governance-Tools ergänzt werden, um die Qualität und Vollständigkeit der Daten zu gewährleisten, durch Workflow-Tools, die eine angemessene Filterung und Kontextualisierung ermöglichen, und durch Integrations-Tools, die sicherstellen, dass die richtigen Endpunkte erreicht werden. Auf diese Weise können Sie alle Risiken angehen.

Zur effektiven Verarbeitung und Analyse echter Datenströme werden häufig spezialisierte Tools und Technologien wie Stream-Processing-Frameworks, CEP-Engines (Complex Event Processing) und Modelle für maschinelles Lernen, die für Streaming-Daten entwickelt wurden, eingesetzt. Diese Tools ermöglichen es Unternehmen, den Wert von Streaming-Daten für verschiedene Zwecke und Branchen zu erschließen.