Während ich noch darauf warte das die Hadoop bzw. MapReduce Welle auch nach Deutschland (in Berlin gibt es bereits schon regelmäßige Get togethers, nächste am 25. Juni) herüberschwappt schaue ich interessiert gen Übersee. In Santa Clara fand in der vergangenen Woche das Hadoop Summit 09 (hadoopsummit09) statt und ich habe versucht dieses per Twitter zu verfolgen und berichte nachfolgend in kurzer knapper Twitter Manier!
- Ganglia, ein Monitoring-System für Server-Infrastrukturen nutzt ähnlich wie Chukwa Hadoop zur Analyse von Log-Files
- Avro ist ein sehr frisches Projekt von Doug Cutting und soll als Serialisierer/Store von Daten wie bspw. Pig oder Hive dienen
- Yahoo! wird die intern verwendete Hadoop-Distribution freigeben, mit der derzeit das größte Hadoop-Cluster der Welt betrieben wird (4.000 Nodes, 16 PB)
- Facebook nutzt Hadoop bzw. Hive zur Auswertung von Log-Files und zum Trainieren eines Random Forest Kategorisierers
- Cloudera bewertet die Nutzung von Hadoop auf EC2 und die Nutzung eines datasets mit EBS inkl. Tutorial – Awesome!
- Peter Skomoroch entwickelt in 1 Woche (!) ein System (Trending Topics) zur Auswertung von Trends mithilfe von Cloudera Hadoop, Hive auf EC2
