Hadoop

Hadoop ist ein Open Source Framework für zuverlässiges, skalierbares und verteiltes Rechnen (reliable, scalable, distributed computing). Die umfangreichste Hadoop Installation betreibt Facebook, mit insgesamt 2.000 Rechnern und 21 PB Daten (Stand Mai 2010).

Projektinformationen

• Projektname: Hadoop
• URL: http://hadoop.apache.org/

Projektbeschreibung

Einer der Kernbereiche von Hadoop ist das Hadoop Distributed File System (HDFS). HDFS ist der primäre Datenspeicher für Hadoop Applikationen. Es erstellte mehrere Replikas von Datenblöcken und verteilt diese auf auf Compute Nodes im Cluster um zuverlässige und schnelle Berechnungen zu ermöglichen.

Hadoop wird in Debian ab Debian 6 Squeeze direkt im Debian Repository enthalten sein.

Weitere Informationen

• http://de.wikipedia.org/wiki/Hadoop
• http://www.heise.de/newsticker/meldung/Verarbeiten-grosser-verteilter-Datenmengen-mit-Hadoop-968753.html

Autor: Werner Fischer Werner Fischer arbeitet im Product Management Team von Thomas-Krenn. Er evaluiert dabei neueste Technologien und teilt sein Wissen in Fachartikeln, bei Konferenzen und im Thomas-Krenn Wiki. Bereits 2005 - ein Jahr nach seinem Abschluss des Studiums zu Computer- und Mediensicherheit an der FH Hagenberg - heuerte er beim bayerischen Server-Hersteller an. Als Öffi-Fan nutzt er gerne Bus & Bahn und genießt seinen morgendlichen Spaziergang ins Büro.