Hadoop-Anwendungsprogramme

Dieses Buch ist ein praxisorientierter Leitfaden, der sich ausschließlich auf praktische Implementierungen und ausführbare Lösungen unter Verwendung von Hadoop und seinem Ökosystem konzentriert. Es ist als labororientierte Ressource konzipiert, bei der die Leser Big-Data-Technologien erlernen, indem sie Konfigurationen, Befehle und Analyseaufgaben direkt ausführen. Das Buch beginnt mit der Einrichtung und Installation von Hadoop sowohl im pseudo-verteilten als auch im vollständig verteilten Betriebsmodus. Die Leser implementieren dann wesentliche HDFS-Dateiverwaltungsaufgaben, einschließlich des Hinzufügens von Dateien und Verzeichnissen, des Abrufens von Daten aus HDFS und des Löschens von Dateien. Diese Übungen helfen den Benutzern, sich mit der Arbeit in verteilten Speichersystemen vertraut zu machen. Das Buch bietet mehrere MapReduce-Implementierungen, beginnend mit einer Word-Count-Lösung zur Berechnung der Anzahl der Vorkommen jedes Wortes in großen Eingabedateien. Es umfasst ferner Programme für die schlüsselwortbasierte Wortsuche und die Eliminierung von Stoppwörtern aus großen Textdatensätzen. Ein spezieller Abschnitt konzentriert sich auf das Mining von Wetterdaten mittels MapReduce, wobei Programme implementiert werden, um Durchschnitts-, Höchst- und Mindesttemperaturen für jedes Jahr zu berechnen und Datensätze basierend auf Temperaturschwellenwerten zu filtern.