Das rasante Wachstum von Datenmengen und komplexere Nutzungsszenarien fordern stetig neue oder flexiblere Lösungsansätze in der Informationsverarbeitung. Prognosen sagen voraus, dass sich allein das Datenvolumen der Unternehmen in 18 Monaten jeweils verdoppelt und in den nächsten fünf Jahren damit mehr als versechsfachen wird.

Viele Unternehmen müssen aber auch heute schon  mit steigender Tendenz sehr große Mengen von Daten, wie z.B. Logfiles, Transaktionsdaten oder Produktionsdaten im Multi-Terabyte-Bereich speichern und effizient  verarbeiten, um sich im Wettbewerb zu behaupten. Dazu kommen auch noch zunehmende Vorgaben durch die Gesetzgebung zur  Langzeitarchivierung von geschäftskritischen Informationen in digitaler Form.

Um Big Data künftig besser für geschäftliche Zwecke nutzen zu können, benötigen die IT- und Fachbereiche spezielle Technologien und Lösungskonzepte. Und doch stellt  genau dies für  Unternehmen  eine große Herausforderung dar; aus  großen Datenvolumen und dem Datenstrom aus unzähligen Datenquellen unterschiedlichster Art,  nützliche und verwertbare Erkenntnisse  für die strategische Steuerung zu gewinnen.

Unternehmen, die dem Datenwachstum einseitig über die Aufrüstung von Hard- und Software begegnen, sehen sich nicht nur exponentiell wachsenden  Kosten (TCO) ausgesetzt, sondern verlieren im Zeitverlauf ggf. strategisch bedeutsame Informationen bei der Löschung von Daten oder können gesetzliche Vorgaben nur mit hohem Aufwand bedienen.

Das Potenzial von Big Data mit neuen Strategien optimal und effizient nutzen

Für den Umgang mit Big Data ist eine neue und flexiblere Herangehensweise gefordert, da es längst nicht mehr darum geht,  immer mehr Speicher  bereitzustellen, vielmehr ist eine effiziente Verwaltung und Verarbeitung der Informationen gefordert.
Bei der Verarbeitung und Analyse großer Datenmengen ist ein Umdenken weg von den traditionellen Speicherszenarien gefragt, eine herkömmliche relationale Datenbank wird bei steigenden Datenvolumina schnell an Ihre Grenzen stoßen und zunehmend hohe Kosten verursachen. 

Datenbanken wie die Enterprise InfiniDB sind spaltenorientierte Datenbankmanagement-systeme, diese  speichern im Gegensatz zu den relationalen Datenbanken Daten in Spalten anstatt in Zeilen und ermöglichen den dedizierten Zugriff auf die tatsächlich benötigten Informationen.
Durch den integrierten Einsatz moderner Kompressions-algorithmen und effizienten Zugriffstechnologien wie Map-Reduce, werden die Daten regelmäßig auf 20% des Datenvolumens eines relationalen Datenbankmanagementsystems reduziert, während gleichzeitig die Performance oft um den Faktor 100 zunimmt.

Ein durchgängig effizientes Speichermanagementkonzept berücksichtigt auch, dass  durchschnittlich nur etwa 20% der Daten für das operative Geschäft genutzt und etwa 80%  lediglich für wenige Anwendungsszenarien vorgehalten werden. Dies bedeutet im Umkehrschluss, dass 80% der Kosten für operative Systeme und Betrieb für Daten vorgehalten werden, die nur selten genutzt werden.

Daher ist ein weiterer Schlüsselbegriff im Umgang mit Big Data das Konzept des Information Lifecycle Management  (ILM), das auf dem Umgang mit Daten  entsprechend ihrer Wertigkeit und ihrer vorgesehenen Nutzung beruht.
Das Ziel des Information Lifecycle Management ist immer, die richtigen Daten zum richtigen Zeitpunkt dort verfügbar zu machen, wo sie benötigt werden - und das zu möglichst niedrigen Kosten. Und dies über den  gesamten Lebenszyklus der einzelnen Information von der Generierung des Datensatzes  über die Nutzung bis zur endgültigen Löschung. Hierbei gilt es,  die Informationen nach Relevanz  bzw. Wert zu gewichten, je relevanter die Information, desto höher  sollte ihre Verfügbarkeit sein.

Das Konzept des ILM ermöglicht den Umgang mit Daten entsprechend ihrer Wertigkeit und ihrer vorgesehenen Nutzung von der ersten Speicherung, über Datensicherung inklusive Recovery, Replikation, Hierarchisches Storage Management (HSM), Archivierung und Storage Resource Management bis zum Löschen des Datensatzes.

Fazit

Eine Kombination von spaltenorientierter Datenbank in Kombination mit dem Konzept des Information Lifecycle Managements löst die Herausforderungen durch Big Data effizient und stellt langfristig  sicher, dass Performance- und Ressourcen-Probleme der Vergangenheit angehören. Speziell für Unternehmen mit stark wachsenden Datenmengen wurde der Uniique ILM-Manager für InfiniDB entwickelt. Millionen Datensätze können so innerhalb von Sekunden aus der operativen InfiniDB entfernt  oder aus unstrukturierten Datenquellen transformiert werden und bei Bedarf ad-hoc wieder in der InfiniDB für effiziente Abfragen und Analysen verfügbar gemacht werden.

Durch die hohe Effizienz des ILM-Managers in Kombination mit der Ladeperformance der InfiniDB empfiehlt sich das Produktbundle  auch als ideale Wahl für den Aufbau einer ILM Lösung für Massendaten aus unterschiedlichen Systemen, die bei Bedarf ad-hoc  in Sekunden abgefragt werden müssen. Dies können z.B.  Logdaten von Webservern, Logs von Produktionsprozessen oder  Verbindungsdaten in der Telekommunikation sein. Dabei sind auch die Anforderungen des Datenschutzes leicht zu berücksichtigen, da die Prozesse des ILM-Managers soweit automatisiert werden können, dass ältere Daten automatisch gelöscht werden.

Durch dieses intelligente Datenmanagement steigern Sie die Performance im produktiven System durch geringere Datenvolumen, erhöhen die Flexibilität  und senken Ihre TCO nachhaltig mit einer beliebig skalierbaren Lösung.

Sie möchten gerne weitere Details oder einen "Big Data"- Eignungscheck für Ihre Systeme?