Erstellen eines ausfallsicheren, skalierbaren und verteilten Overlay-Filesystems für containerbasierte Projekte

Projekt Ideen

In modernen, containerbasierten Anwendungen und Infrastrukturen spielt das Ablegen von Dateien eine zentrale Rolle. Ein direktes Ablegen auf der Festplatte verhindert die Skalierbarkeit und stellt ein Problem beim Ausfall dar.

Verteilte Netzwerk-Dateisysteme wurden unter einer anderen Prämisse erschaffen und bringen in vielen Fällen nicht die gewünschte Performance. Größere Cloudanbieter wie Amazon bieten daher eigene Lösungen an (Amazon S3). In kleineren Projekten die u.U. selbst gehostet werden ist dies aber meistens keine Lösung. Ziel der Arbeit ist es, die bestehenden Netzwerkdateisysteme zu evaluieren und gegebenenfalls ein eigenes Overlay-Dateisystem basierend auf Fuse zu erstellen. Dieses soll mit Hilfe von bestehenden Technologien wie z.B. NFS und einem geeigneten Verteilalgorithmus eine Lösung für das Storage-Problem in containerbasierten Projekten bieten, die keinen großen Storage-Cluster zur Verfügung haben.

Kernziele:

  • Evaluation verschiedener Network-Dateisysteme für die Eignung des Einsatzes in containerbasierten Anwendungen/Infrastrukturen (z.B. GlusterFS, NFS, GridFS, ...)
  • Evaluation verschiedener Verteilungsstrategien und Algorithem
  • Umsetzen eines Fuse-Dateisystems basieren auf den evaluierten Daten
  • Benchmark der eigenen Entwicklung im Vergleich zu den bisherigen Systemen