03 Jun 11 MapReduce vs Hadoop (++)

Auch mit geringen Computerkenntnissen kann man mit Hadoop auf einfache Weise viele Milliarden Datensätze parallel auf mehreren Servern durchsuchen.
Hadoop ist ein freies, in Java geschriebenes Framework für skalierbare, verteilt arbeitende Software. Es basiert auf dem MapReduce-Algorithmus, sowie auf Vorschlägen des Google-Dateisystems und ermöglicht es, ebenso intensive Rechenprozesse mit großen Datenmengen durchzuführen. HDFS (Hadoop Distributed File System) ist ein hochverfügbares, leistungsfähiges Dateisystem zur Speicherung sehr großer Datenmengen. Dateien werden auf mehrere Datenblöcke verteilt. Zur Steigerung der Zuverlässigkeit und Geschwindigkeit legt HDFS mehrfach Kopien von einzelnen Datenblöcken an. Ein Masterknoten bearbeitet eingehende Datenanfragen, organisiert die Ablage von Dateien und speichert anfallende Metadaten.

Dazu hat Google MapReduce entwickelt. Das als Open-Source-Produkt angebotene Hadoop-Programm basiert auf der Idee von MapReduce.
Hadoop beinhaltet eine MapReduce Lizenz (patentrechtlich von Google geschützt).

MapReduce hat (erstmal) nichts mit SQL zu tun!
Dazu wäre HBase zu erwähnen: HBase ist eine skalierbare, einfache Datenbank zur Verwaltung sehr großer Datenmengen innerhalb eines Hadoop-Clusters. Die HBase-Datenbank basiert auf einer freien Implementierung von Google BigTable. Diese Datenstruktur ist für Daten geeignet, die selten verändert werden, dafür aber sehr häufig ergänzt werden. Mit HBase lassen sich Milliarden von Zeilen verteilt und performant verwalten

SQL-Spezialisten betrachten MapReduce als großen Rückschritt (Quelle Jens Dittrich, Professor für Informationssysteme der Universität des Saarlandes) da es Erfahrungen aus der Datenbankforschung nicht berücksichtigt. Auch wenn die Datenmenge, die mit MapReduce durchsucht werden kann, riesig sind, scheint es eher ineffizient zu sein im Vergleich mit RDBS. Vorteile bestehen darin, das man keine Datenbanksprachen oder Modelle lernen muss, das die Administration von Hadoop/MapReduce sehr einfach ist und Hadoop kostenlos verfügbar ist. Allerdings gibt es auf bei Hadoop Leistungsgrenzen. Hadoop ist im Vergleich zu modernen Datenbanksystemen zu langsam. Die Universität des Saarlandes hat dazu eine Erweiterung von Hadoop entwickelt: Hadoop ++ .

Hadoop++ ähnelt in seinem Prozessablauf einem trojanisches Pferd. Hadoop bleibt dabei unverändert, aber an geiegneten Stellen wird zusätzlichen Code eingeschleust, der für eine möglichst effizientere Ausführung sorgt. Alle Änderungen erfolgen durch Nutzerfunktionen (UDF/user-defined functions). Das neue Programm folgt damit einem ähnlichen Ansatz wie ein Trojaner. Hadoop ++ soll bis zu 18 mal schneller sein als Hadoop.

Eine wirklich gutes Beispiel für Hadoop’s Map Reduce Architektur ist CloudBase (http://cloudbase.sourceforge.net)
Diese Software erlaubt es Millarden an Terabytes sogar mit ANSI SQL abzufragen. Ein JDBC Treiber steht zur Verfügung und kann dadurch Beispielsweise mit BI Tools und Reporting Frameworks genutzt werden. ANSI SQL Ausdrücke werden in MapReduce Prozesse umgewandelt und können einfache Text-Dateien dursuchen.

Quelle:
Universität des Saarlandes, Jens Dittrich, Professor für Informationssysteme

http://de.wikipedia.org/wiki/Hadoop

http://sourceforge.net/projects/cloudbase/