Datenverarbeitung in groß

  • 25. August 2014

IBM entwickelt Big-Data-Lösung für DESY-Röntgenquelle PETRA III.

DESY und IBM haben eine Kooperation zur Entwicklung einer hochperformanten Big-Data-Speicherlösung für die Forschung geschlossen. DESY setzt dazu ein IBM Speichersystem ein, das große Datenmengen extrem schnell handhaben kann. Zu Spitzenzeiten soll es bis zu 20 Gigabyte pro Sekunde verarbeiten. Die Daten entstehen an DESYs hochbrillanter Röntgenquelle PETRA III, einem 2,3 Kilometer langen Ringbeschleuniger.

Mehr als 2000 Forscher pro Jahr erkunden mit diesem Licht atomgenau die innere Struktur ihrer Proben, wobei enorme Datenmengen entstehen. „Ein typischer Detektor liefert heute einen Datenstrom von etwa fünf Gigabit pro Sekunde“, erläutert der Leiter der DESY-IT, Volker Gülzow. Das entspricht knapp einer CD-ROM pro Sekunde. „An PETRA III steht aber nicht nur ein Detektor, sondern es gibt 14 Messstationen, die zurzeit auf 24 erweitert werden. Alle diese Daten müssen zuverlässig gespeichert und verarbeitet werden.“

Um diese Herausforderung zu meistern, entwickeln DESY und IBM Research eine Lösung auf Basis des IBM-Systems Software-Defined-Storage mit dem Codenamen Elastic Storage. Diese nach oben skalierbare Lösung soll die bis zu 20 Gigabyte Daten, die pro Sekunde an den PETRA-III-Messstationen erzeugt werden, speichern und für die Analyse vorhalten. So sollen Forscher schnelleren Zugang zu ihren Messdaten bekommen. DESY kann auf diese Weise Analysis-as-a-Service und Cloud-Dienste für die Nutzer seiner Anlagen aus aller Welt anbieten.

Die Skalierbarkeit des Systems soll auch bei künftigen Herausforderungen bei der Verarbeitung von Forschungsdaten helfen. Mit dem europäischen Röntgenlaser European XFEL bauen DESY und internationale Partner derzeit eine Forschungslichtquelle, die noch sehr viel mehr Daten produzieren wird als PETRA III. „Wir erwarten vom European XFEL etwa 100 Petabyte pro Jahr, also 100 Millionen Gigabyte“, erläutert Gülzow. Das ist vergleichbar mit dem Datenvolumen des weltgrößten Teilchenbeschleunigers LHC am europäischen Teilchenforschungszentrum CERN bei Genf.

„Die Software-Defined-Technologien von IBM können DESY mit der nötigen Skalierbarkeit, Geschwindigkeit und Agilität versorgen, damit das Forschungszentrum in Zukunft Analysen als Service in Echtzeit anbieten kann“, sagt Jamie Thomas, General Manager Storage and Software Defined Systems bei IBM. „IBM kann von den Erfahrungen mit DESY profitieren und diese in andere datenintensive wissenschaftliche Bereiche wie etwa Astronomie, Klimaforschung und Geophysik einbringen. Dort können dann ebenfalls Speichersysteme errichtet werden für die Analyse von Daten, welche von verteilten Detektoren und Sensoren erzeugt worden sind.“ IBM Research in Zürich und das IBM Storage Development Team in Mainz werden die nötige technische Expertise aufbieten und ein breites Spektrum von Funktionen auswerten, die Teil der Elastic Storage Roadmap sind.

IBM / DE

Share |

Site Login

Bitte einloggen

Andere Optionen Login

Website Footer