Dryad が簡単に動きました！

先日投稿した通り、Windows HPC Server 2008 R2 SP2 に Dryad が含まれることになりました。 (現在は SP2 Beta 提供中)

そして、Dryad は HPC Server のインストールに組み込まれたので、特に追加でインストールするものはないです。

ただ、そのまま使えるかというと、インフラ担当者にとって1つだけ作業があります。

それが DSCコマンドです。

HPC 環境が出来上がったら、以下の DSC コマンドで、Dryad としてのノード追加をしてあげてください。

DSC Node add computername /temppath:c:\dryad\hpctemp /datapath:c:\dryad\datapath /service: headnodename

このコマンドの実行により、HPC の計算ノードが Dryad の計算ノードとしても認識され、専用のファイルシステムで利用するフォルダを自動的に作ってくれます。

※ Beta の場合は別途ACLの設定が必要という記述がドキュメントにあるのですが、MS社内で試した限りでは特に何もしていません。

※ HPC のヘッドノードもDryadの計算ノードにしましたが、問題無く動作しています。

*****

私の出番はここまで、あとは、ヘッドノード名とファイル共有のパスを萩原に伝え、動作を確認してもらいました。

準備段階で処理のためのファイルをコピーするのですが、その段階で「動いたよー」と教えてくれて、その数十分後には「Dryadも動いたよー」ということでした(笑)

こちらが結果↓ Windows HPC の管理コンソールにてDryad ジョブの結果も確認できるわけですね。

Dryad 上で動く Map-reduce のサンプルもあるんですよ！！

それ以外で Dryad っぽいところは、こちら↓ですかね。

Graph Manager とか Vertex という役割が各ノードに割り当てられて処理をするんです。

今回は Windows HPC Server 2008 R2 SP2 Beta と一緒に提供されているサンプルを使ったようですが、CTP で動かせなかったことがうそのように、特に迷うこともなく動いたみたいです。

******

あと、萩原は Hadoop の事も、それ以外の事もよく知っているのですが、ベースとしてのインフラがここまで完成されているのはかなり大きいみたいですね。

特に、その世界の方々の興味はインフラではなく大量データの処理にあるようですから、ジョブスケジューラや専用ファイルシステムDSCを含むインフラが簡単に作れて、今後は HPC on Azure とか社内の Windows 7 の計算ノード化みたいな展開も考えると、ますます面白くなりますね。

コードが書けて、大規模分散処理に興味がある方、是非試してみてください！！！！

日本マイクロソフト高添

Additional resources