Cloud Computing und Geodaten

Es gibt gute Gründe, warum Cloud Computing für das Arbeiten mit Geodaten eine wichtige Rolle spielt. Die Cloud bietet die Möglichkeit, Ressourcen für die Verarbeitung großer Geodatensätze schnell und flexibel zu skalieren. Dadurch können Unternehmen effizienter arbeiten und Engpässe vermeiden. Skalierbarkeit ist außerdem eine wichtige Voraussetzung, um vielen Nutzern gleichzeitig Zugriff auf die Geodaten zu ermöglichen. Dies fördert die Zusammenarbeit und erleichtert den Austausch von Informationen zwischen verschiedenen Teams und Abteilungen. Durch die Nutzung von Cloud Computing können Unternehmen die Kosten für den Aufbau und die Wartung eigener Infrastrukturen zur Speicherung und Verarbeitung von Geodaten reduzieren. Stattdessen zahlen sie nur für die tatsächlich genutzten Ressourcen in der Cloud. 

Für eine effiziente Verarbeitung, Analyse und Bereitstellung von Geodaten in der Cloud haben wir eigene Steuerungs- und Speicherkomponenten entwickelt, die als Open-Source-Projekte bereits seit mehreren Jahren bei uns weiterentwickelt werden und in den unterschiedlichsten Projekten zum Einsatz kommen.

Steep ist ein Cloud-basiertes Workflow-Management-System, das Ihre Microservices orchestriert, um Big Data ressourcen- und kosteneffizient zu verarbeiten. Mit Steep bieten wir eine sehr mächtige und robuste Lösung für eine effektive Steuerung von komplexen Daten-Verarbeitungsketten in der Cloud. Die Berechnung dieser Verarbeitungs- und Analyseketten kann sehr lange laufen, manchmal über Tage oder Wochen. Der Einsatz von Steep stellt ein hohes Maß an Automatisierung sicher, die den Prozess effizient, robust und mit möglichst wenig Nutzerinteraktion durchlaufen lässt. Steep hilft zudem dabei, Workflows intelligent zu parallelisieren, um vorhandene Rechenkapazitäten optimal auszunutzen. Durch das Feature der ‘Required Capabilities’ ist Steep dabei in der Lage, genau die Cloud-Ressourcen anzufordern, die ihre Services benötigen. Dadurch wird sichergestellt, dass alle Workflows möglichst kosteneffizient verarbeitet werden.

Zur Steep-Website

Veröffentlichungen:

Würz, H. M., Kocon, K., Pedretscher, B., Klien, E., and Eggeling, E. (2023). A Scalable AI Training Platform for Remote Sensing Data, AGILE GIScience Ser., 4, 53, https://doi.org/10.5194/agile-giss-4-53-2023

Krämer, M. (2021). Efficient Scheduling of Scientific Workflow Actions in the Cloud Based on Required Capabilities. In S. Hammoudi, C. Quix, & J. Bernardino (Eds.), Data Management Technologies and Applications. Communications in Computer and Information Science (Vol. 1446, pp. 32–55). Springer. https://doi.org/10.1007/978-3-030-83014-4_2

Mit GeoRocket setzen wir neue Maßstäbe für die hoch-perfomante Speicherung von Objekten mit Semantik und Raumbezug in einem Cloud-basierten Datenspeicher. GeoRocket kann große INSPIRE-Datensätze, GeoJSON-Dateien, 3D-Stadtmodelle und alle anderen XML-basierten Geodaten speichern. Es bietet Hochleistungsspeicher und unterstützt mehrere Cloud-basierte Back-Ends wie Amazon S3, MongoDB oder verteilte Dateisysteme.

Die in GeoRocket entwickelte Speicher- und Indizierungsmethodik arbeitet schemagnostisch, formaterhaltend, Cloud-basiert, eventgetrieben – und schnell. Außerdem ist die Software leicht integrierbar in existierende Infrastrukturen.

Zur GeoRocket-Website

Veröffentlichungen:

Bormann, P., Krämer, M., & Würz, H. M. (2022). Working efficiently with large geodata files using ad-hoc queries. Proceedings of the 11th International Conference on Data Science, Technology, and Applications DATA, 438–445. https://doi.org/10.5220/0011291200003269

Krämer, M. (2020). GeoRocket: A scalable and cloud-based data store for big geospatial files. SoftwareX, 11. https://doi.org/10.1016/j.softx.2020.100409