1,000台のPCでHadoopを実行(Scaling Hadoop to 1000 nodes(WinXP) at fukuoka-u)

なんとか、1,000台越えでのHadoopの動作、達成です。

休日、PC教室のメンテナンス時間を利用して1000台（ノード）でのHadoopの起動およびサンプルプログラムの実行に成功しました。100GBの数値データのソートを1,001台のスレーブを用いて実行したところ、4分59秒で処理を完了することができました。

↓17PC教室の1000台を超えるPCをHadoopのスレーブとして起動しました。DFSの管理画面で1,004台がLiveNodeとなっていることが確認できます。

↓次にJobTrackerの管理画面です。Node数が、ぎりぎり1,001台です。この1,001台のスレーブPCを利用して、サンプルプログラムのソートを実行してみました。

実行したプログラムは、Hadoop0.20に付属のrandomwriterとsortです。

まず、1ノードあたり100MB分のランダムデータを生成するためにrandomwriterを実行します。別途用意するコンフィグファイルで、1ノード100MBになるようにパラメータ設定をしておきます。

% bin/hadoop jar hadoop-*-examples.jar randomwriter -conf conf/randomwriter.xml rand

次に、生成したデータのソートです

% bin/hadoop jar hadoop-*-examples.jar sort rand randout

ジョブの実行結果は次の通りです。

1ノード100MBを1,001台分、合計約100GBのランダムデータのソートを、1,001台のスレーブを利用してMapReduceで処理し、4分59秒で完了しました。

↓こちらがその結果です。Mapタスクが2002本、Reduceタスクが1801本が実行されたことがわかります。

1,000台のPCを起動するとなると、Hadoopクラスターとして利用する前後の準備と片付けに、それなりに時間を要するため、本日は原理的に動かせることを確認することを目標に、簡単なサンプルプログラムの実行だけに留めました。

PC教室を利用した94台でHadoopを実行（その2）

先週の土曜日に引き続き、2回目のチャレンジです。この一週間、前回発生した問題の解決と、予備調査に時間を費やし、本日はなんとか95台でのHadoopの起動およびジョブの実行が行えるところまで確認しました。上の図では「LiveNode」が96台になってますが、この後、1台減らして95台にしたところで、各種サンプルプログラムなどで、MapReduce型のアプリケーションが実際に動作することを確かめました。残念ながら、PC１台毎のローカルディスクの容量が少なく、大規模データでのジョブ実行ができないのが残念でしたが、とりあえず使えるようにするための手間については、おおよそ感触を掴むことができました。

テレビ会議体験しました

今日は、午後からシスコさんのオフィスにお邪魔して、遠隔会議システムを体験させてもらいました。大阪の会場から、遠隔会議システムを使って新製品の紹介を受けました。

↓専用の会議室で手前に半円状のテーブルがあり、正面に大型ディスプレイが3面設置されています。

↑会議中の模様。ほぼ等身大で正面に表示されるため、普通に対面にいる人と話すような感じで会話や会議ができます。

PC教室を利用して94台でHadoopを実行

福岡大学の情報センターが提供するPC教室は、ネットブート方式を採用しているため、1つのマスターイメージで全PCを起動することができます。この同じ内容、同じ設定のPCを簡単に多数起動することができる特徴を生かして大規模分散処理の処理基盤であるHadoopを動かしてみようと、学生とPC教室で実験を行った。Hadoopのソフトを組み込んだネットブート用のイメージでPC教室の94台のPCを起動し、別途容易したマスターPCと連携させることで、無事94+1台のPCでHadoopを起動させることができました。

これで、どんどんプログラムを動かせるかと期待したら、ちょっとトラブルです。サンプルプログラムを動かしたところ、正常に動いているように見えるのですが・・・。別に用意したテスト環境では正常に動作しているのですが、肝心の本番環境で動作しませんでした。来週の再実験に向けて、原因を探ります。

実験準備

大学院の学生の研究ネタで実験を行うための準備のため、出勤。とりあえず、実験環境の下準備は完了。6月末に向けて、今から仕込みです。

ネットの向こう側で

個人的に利用しているネット上のデータ管理サービスが、どうもつながらないと思っていたら、こんな緊急メッセージが出てました。

So, here's the story. A big storm went through the city where our datacenter is located. The datacenter decided to proactively switch to generators. During the switch, something got screwed up, and the power went off for a few minutes. As (bad) luck would have it, this caused our database to get corrupted. We are currently working to bring it back online and restored from the live backup. The crack team at Rackspace is on the job. Thanks Rackspace! Unfortunately, the database is so large, that it will take some time to transfer and verify all the data. Hopefuly not more than a few hours. We know that this is very bad, and we apologize for any inconvience that this will cause. Please check the forums when we are back online for a full report.

ネット上のサービスを活用していると、こんなときに困りますね。

Microsoft Office Groove 2007 その２

一応、ゼミのメンバーのPCにソフトのインストールとワークスペースのセットアップが終わり、ゼミ内情報共有ツールとして使えるようになりました。が、ログオン率があがりません。ノートPCは使っているのに、Grooveにはログインしていないんですね。確かに常駐型アプリなのでメモリ消費やネットワーク帯域を消費しますが、リアルタイムにゼミ内でチャットもできるなど、得られるメリットも多いと思うのですが・・・。しばらく、静観します。