Organisationen und kleinere Industriepartner stehen heute vor verschiedenen Problemen im Umgang mit HPC-Berechnungen, HPC im Allgemeinen oder auch dem Zugang zu HPC-Ressourcen. In vielen Fällen sind die Berechnungen komplex und die potenziellen Nutzer verfügen nicht über das nötige Fachwissen, um HPC-Technologien ohne Unterstützung vollständig zu nutzen.
Der EXCELLERAT Data Management Service entwickelt Best Practices und bietet Unterstützung bei der Verwaltung großer Datenmengen, die bei technischen Anwendungen anfallen und verwendet werden. Es werden effiziente Strategien für die Vor- und Nachbearbeitung sowie für die Speicherung, die Zugänglichkeit und die effiziente Verwaltung von Metadaten untersucht. Zusätzlich wird ein hochautomatisierter Datenversand über Austauschmechanismen angeboten; abhängig von den Prozessschritten kann eindeutig identifiziert werden, woher die Daten kommen und wohin sie bereitgestellt werden müssen. Ein übergreifendes Daten-Workflow-Monitoring kann eingerichtet werden, um Redundanzen oder unnötige Archivierung von Daten zu vermeiden.
Als IT-Dienstleister und Mitglied des Konsortiums Centre of Excellence EXCELLERAT entwickelt die SSC-Services GmbH individuelle Konzepte für die Zusammenarbeit von Unternehmen und kundenorientierte Lösungen rund um die digitale Transformation. Seit 1998 bietet das Unternehmen mit Sitz in Böblingen (Deutschland) Lösungen für die technische Anbindung und Zusammenarbeit von Großunternehmen und deren Zulieferern oder Entwicklungspartnern. Die Wurzeln des Unternehmens liegen in der Verwaltung und dem Austausch von Daten jeglicher Art und Größe.
Die SSC entwickelt im Rahmen des EXCELLERAT-Projekts eine sichere Datenaustausch- und -übertragungsplattform, um die Nutzung des Hochleistungsrechnens (HPC) für die Industrie zu erleichtern und den Datentransfer effizienter zu gestalten. Die entwickelte Datenplattform wird die Unternehmen dabei unterstützen die oben genannten Hindernisse bei der Nutzung von HPC zu überwinden oder im besten Fall zu beseitigen.
Während des Datenaustauschs oder der Bereitstellung von zu berechnenden Daten verfolgt die Workflow-Überwachung, woher die Daten stammen, was mit ihnen gemacht wird und wohin das Ergebnis übertragen werden muss. Sollte ein zweiter Durchlauf mit denselben Daten erforderlich sein, identifiziert der Workflow die bereits vorhandenen Daten, um Redundanzen zu vermeiden und so die Geschwindigkeit der Übertragung zu erhöhen. Zusätzlich werden smarte Komprimierungsregeln angewandt, um die große Menge an bereitgestellten Daten zu verkleinern. Die Versionierung des Berechnungsauftrags ist in dieser Phase obligatorisch, um den Datendurchsatz zu überwachen. Durch diese Maßnahme wird die Menge der zu berücksichtigenden geänderten Daten minimiert.
Abhängig vom Code sowie der Verfügbarkeit von HPC-Ressourcen erkennt der Workflow automatisch die beste Konstellation innerhalb der HPC-Umgebung, um die Berechnungen zum frühestmöglichen Zeitpunkt durchzuführen.
Mit der Implementierung der Datenverwaltung und der Workflow-Übersicht auf der Plattform wird es möglich, einfache Aufgaben wie die Bereinigung oder Verwaltung von Verzeichnissen zur Nutzung von maschinellem Lernen und künstlicher Intelligenz fast automatisch durchzuführen. Dies könnte genutzt werden, um Arbeitsbereiche auf der Grundlage von Erfahrungswerten oder Merkmalen zu generieren oder um Vorschläge für Berechnungen oder optimierten Datentransfer zu realisieren.
Das einzigartige Wertangebot besteht darin, dass SSC der Industrie über akademische Institute Zugang zu HPC bietet und die beiden Partner miteinander verbindet, so dass beide Seiten von der Plattform profitieren können.
Das Angebot von SSC umfasst Schulungen, Beratung, Best-Practice-Leitfäden für die Nutzung der Plattform sowie Bereitstellung und Betrieb/Support der Plattform für die Industrie, um die Nutzung von HPC deutlich zu erleichtern.
Der Nutzen für die industriellen Endanwender und Wissenschaftler ist zum Beispiel:
- Sicherer, schneller, nachvollziehbarer, automatisierter und intelligenter Datenaustausch
- Zeit- und Kostenersparnis durch einen hohen Automatisierungsgrad, der die Prozesskette strafft
- Berechnungen können von jedem beliebigen Ort mit einer sicheren Verbindung gestartet werden
- Workflow-Management
Auch für die unabhängigen Softwareanbieter wird aufgrund der generischen Struktur der Plattform jede Simulationssoftware (Open Source oder lizenziert) unterstützt.
Zumindest für die HPC-Anbieter und HPC-Cloud-Provider liegen die Vorteile darin, dass die Einarbeitungsphasen für unerfahrene Nutzer kürzer sind und der Supportaufwand für HPC-Anbieter und HPC-Cloud-Provider reduziert wird. Auch wird durch das Web-Frontend die Komplexität der HPC-Nutzung reduziert und die Bindung der HPC–Nutzer an die HPC-Umgebung erhöht.
Diese Datenmanagement-Plattform wird in der zweiten Hälfte des Jahres 2022 verfügbar sein.