Deep Learning for Flood Relevant Images and Texts from Social Media

Überschwemmungen gehören zu den häufigsten und zerstörerischsten Naturgefahren der Erde. Diese Arbeit untersucht die Idee, nutzergenerierte Informationen aus Social Media zu nutzen, um frühe Anzeichen hochwasserrelevanter Ereignisse zu erkennen. Das Ziel dieser Arbeit liegt in der Entwicklung und Implementierung einer Deep Learning Lösung mit der Fähigkeit, das Vorhandensein von hochwasserrelevanten Ereignissen aus benutzergenerierten Bildern und Texten zu erkennen. Für diese Aufgabe werden faltungsneuronale Netzwerkmodelle und wiederkehrende neuronale Netzwerkmodelle zu einem einzigen multimodalen neuronalen Netzwerkmodell kombiniert, das für die Klassifizierung verwendet wird. Beide Einzelmodelle nutzen das Transferlernen zur Leistungssteigerung. Für Bilder wird für diese Aufgabe das vortrainierte neuronale Faltungsnetzwerk wiederverwendet. Für den Text werden vortrainierte Worteinbettungen verwendet, um bei der Klassifizierung von Texten zu helfen. Zusätzlich wird am RNN-Modell eine Hyperparametereinstellung durchgeführt, um optimale Werte der Modellparameter zu finden. Alle Modelle werden auf dem MediaEval 2017 und 2018 Datensatz ausgewertet und mit anderen teilnehmenden Gruppen oder Einzelpersonen verglichen. In den meisten Fällen zeigen alle vorgeschlagenen Modelle wettbewerbsfähige oder angemessene Ergebnisse. Insgesamt lässt sich sagen, dass die Verwendung von visuellen und textlichen Informationen aus Social Media zur Identifizierung hochwasserrelevanter Ereignisse mit relativ hoher Genauigkeit möglich ist, um sie für die Notfallüberwachung nutzbar zu machen.