久々の HPC、マイクロソフトの Big Data の方向性がわかるセミナーはこちら

2月16日(木) の品川です! https://msevents.microsoft.com/CUI/EventDetail.aspx?EventID=1032504231&Culture=ja-JP ***** 少し前、「Hadoop じゃなきゃダメなんですか?」というキャッチ―なタイトルでセミナーをしたことがありました。 特に Hadoop を否定するつもりはなく、それ以外の選択肢もあるということをお伝えするためのセミナーだったわけですが、まさかの大盛況で(笑)楽しい日となりました。 その後も、Windows HPC Server、HPC on Azure、Dryad (LINQ to HPC) 等の話をする機会に恵まれ、得意分野とは言い難い世界でしたが、いろいろと勉強をさせていただきました。 そこから・・・長くご無沙汰してしまって、すいません。 連絡すると言ったままできていない人もいると思います、すいません。 いろいろとあったんです。 その1つが LINQ to HPC で、Windows HPC Server の SP3 に入ってくるはずが、開発を止めることになってしまい、私の頭の中にあったシナリオが一気に崩れてしまったんです。 私のブログから HPC の影が消えかけていたのはそのためです(^_^;) ただ、その代わりに大きなお土産話があります。 既にご存知の方もいらっしゃると思いますが、マイクロソフトは Hadoop をやります! Azure 上でも動くようにしますし、Windows Server 上でも動くようにします! あの Hadoop をです! 更に、高速に分散処理した結果の情報はSQL Server がコネクタで受け止めて、BI といいますか、より利用者目線で利用できるデータ分析につないでいけるようにします! http://www.microsoft.com/sqlserver/en/us/solutions-technologies/business-intelligence/big-data-solution.aspx ***** さてさて、これで終わる話ではありません。 だって Windows HPC…

0

Microsoft の HPC は、ヘッドノードまで Azure に!

先ほど、Windows HPC Server 2008 R2 SP3 RC の告知と、インストール手順についてブログで紹介させていただきました。 http://blogs.technet.com/b/osamut/archive/2011/10/26/3461422.aspx そう、私はインフラ担当なので、その上で何を動かすかが肝になる HPC の世界では、萩原や野村や内田(直) という凄いエバンジェリストの陰?で、「デモおよび検証用に Windows HPC Server 環境を作る」という役割を担っております。 が、私の出番がもうなくなるのではないか? なんて、社内IT部門のインフラ担当の方と同じことを考えてしまう瞬間がありました。 これです。 ==== Getting Started with Application Deployment with the Windows Azure Scheduler http://www.microsoft.com/download/en/details.aspx?id=27739 This guide walks through how to build and deploy a sample application using the Windows Azure Scheduler SDK Preview. The Windows Azure Scheduler…

0

LINQ to HPC のベータがもうすぐとれる ~Windows HPC Server 2008 R2 SP3 RC

大阪で実施予定の SCVMM 2012 勉強会の準備をしようと環境を作っているところに、また私の気を引く面白いものが登場しました。 Windows HPC Server 2008 R2 Service Pack 3 RC です。 RC = Release Candidate = 製品候補版 ということで、製品版に非常に近い状態の LINQ to HPC (旧 Dryad) をお試しいただけるようになりました! コネクトサイト( http://connect.microsoft.com/HPC ) からダウンロードをしてください。 早速試してみました。 ***** HPC Pack のインストール画面に LINQ to HPC が戻ってきました。 もちろん、関連コンポーネントを含むインストール作業はほぼ自動でやってくれます。 目的がはっきりしている製品であるからこそシンプルなのかもしれませんが、ほんとによくできているなと感心します。 ==== それから、どこかに Azure へアクセスする際のポート番号を SSL (443) だけにすると書いてあった気がしました。(まだ不明) どこにあったかを見つけられず、中途半端な状態で書くのもどうかと思いましたが、今までは MS社内にある HPC のヘッドノードから Azure にアクセスできなかったので、とりえあず試してみることにしました。…

0

医情報関係者のみなさまへ贈る 「Windows イノベーティブ コンピューティング コンソーシアム」

先ほど Windows HPC Server 2008 R2 SP2 について投稿したばかりですが、HPC絡みで1つ案内があります。 7/25 に品川で Windows イノベーティブ コンピューティング コンソーシアム を開催することになりました。 http://www.microsoft.com/japan/hpc/default.mspx テーマは「医情報分野におけるWindows 環境でのHPC 利用技術」です。 この分野、やはりセッション構成が凄いですね。 ==== 13:35-14:20 医療クラウドにおける臨床画像診断 14:20-15:00 HPC と進化計算による医用画像処理 15:20-16:00 医療画像データを用いた生体内熱物質 16:00-16:40 教育用計算機の Windows HPC 活用について 16:40-17:00 Windows HPC Server の進化 ~SP1・SP2・そしてこれから~ 17:00-17:20 (調整中)Nvidia 様ご講演 17:20-17:30 GPU 対応 医療向け高次元画像解析 ==== 私が時間をもらうのがもったいないくらいの充実感ですが、とりあえず 20分だけ、Windows HPC の進化について紹介をさせていただくことになりました。 Azure 連携や LINQ to…

2

Windows HPC Server 2008 R2 SP2 正式版ダウンロード開始

連絡が遅くなってすいません。 Windows HPC Server 2008 R2 の SP2 を正式にリリースしました。 (これまではBetaでした) SP2 に入った新しい機能についてはこちらに情報があります。 http://technet.microsoft.com/en-us/library/hh184314(WS.10).aspx SP2は、下記リンクからダウンロードできますので、是非試してみてください。 http://www.microsoft.com/download/en/details.aspx?id=26646 ※ Azure ノード用のテスト項目も増えています。 **** 私も早速インストールをしてみました。 インストール方法はこれまでと同じで、以下のような画面となっています。 で、あれっ? SP2 に入っていたはずの Dryad(Data Intensive Scalable Computing (DISC)) は? となるわけですが・・・ 実は、Dryad は SP2 には含まれませんでした。 もちろん無くなっていません! Azure 統合もにらみつつ、Beta 2 として提供を開始しています。 ということで、最新の Dryad 環境は以下の Connect サイトからダウンロードしたモジュールで作ってみてください。 http://connect.microsoft.com/HPC/Downloads/DownloadDetails.aspx?DownloadID=37139 **** それから、Connect サイトにいくと、Dryad という言葉は使われなくなっている事に気づくことでしょう。 Dryad は 「LINQ to HPC」…

0

Microsoft Developer Forum の大規模分散処理のビデオが公開されています。

以前からイベント全体のビデオが公開されていましたが、今ではクラウドガールや各デモをすぐに見れるようになっています。 http://msdn.microsoft.com/ja-jp/events/hh226919 そういえば、イベントが終わった後に「タイトルどうする?」って聞かれた事を思い出しました。 こちらが私の Windows HPC on Azure と Excel のデモになります。 http://msdn.microsoft.com/ja-jp/events/hh212324 いまだ自分のものにしきれていない Windows HPC ですから、デモの最中、PCのキーボードを見たまま(下を向いたまま)落ち着きのない姿をさらしてしまっていたのですが、このビデオにはそれが映ってません(笑) 普通にデモをしているように見えるかもしれないので、Windows HPC に興味がある方は是非こちらをご覧ください! 日本マイクロソフト 高添

0

大規模並列処理をするための Windows ~Windows HPC Server 2008 R2 って何?~

ある方から 「ブログに HPC について書いてるけど、そもそも HPC って何?」「内容がわかるリンクだけでいいから教えて!」 というご指摘&ご連絡をいただいたので、製品ホームページの紹介がてら投稿しておきますね。 ホームページはこちらです。 http://www.microsoft.com/japan/hpc/default.mspx ***** が、ホームページだけ紹介するのも味気ないので、こちらも。 http://www.microsoft.com/japan/presspass/detail.aspx?newsid=2499 2005年のプレス記事です。 ビルゲイツがどういう思いで HPC の世界に投資を決めたのかが何となくわかると思います。 たとえば、 「ゲイツは、コンピュータによるモデリングやクラスタリングに加えて、低コストのセンサーにより、実世界のデータを大量に取得できるようになったことが、新たな変革をもたらすとの考えも示しました。」 とか。 今では当たり前のようにも思えますが、まだまだ増え続ける大量のデータをどのように処理するか、これからの課題でもありますよね。 このように、HPC は特殊な処理をするためのものだけではなくて、大量データを取り扱う業務システムにとっても1つの選択肢となり得るということです。 また、今後はクラウドという潤沢なリソースをうまく使って、バッチ処理をする、もしくはリアルタイム処理へ移行していく事も考えてもらえるとうれしいです。 ***** さて、みなさんは Windows HPC Server を特殊な OS だと思ってませんか? 私自身がそうだったように、「全く別の OS だ」というイメージが、敷居を高くしているだけだと思っています。 実際、Windows HPC Server とは Windows Server + HPCPack の組み合わせでしかなく、普通の Windows Server に HPCPack というアプリケーションを追加でインストールするだけなんですよ。 手順はこちら。普段から Windows Server を触っている方にとって、10分程度で終わるインストールは難しくないです。 ※ HPC 用の…

0

HPC のシナリオを簡単に整理しました。

昨日、Microsoft Developer Forum (MDF) にご参加いただいた皆様、お忙しい中にどうもありがとうございました。 さて、ご参加いただけなかった方は、こちらからビデオを見ていただくことができます。 http://www.microsoft.com/japan/powerpro/mdf2011/default.mspx 私も HPC on Azure のデモをさせていただきましたが、約4分という持ち時間の割にお伝えしたいことが多くて、砂金や高橋忍と違って落ち着きのない姿を見せてしまいました。 それは良いとして、とにかく「インパクト」と「簡単さ」を前に押し出してみました。 が。。。 その分、いろんな機能が整理できていないままに伝わった可能性もあり(確信犯)、ちゃんと整理せねばということで、とっても簡単ですが HPC on Azure と Dryad に関してのみ投稿させていただきます。 ****** Windows HPC Server 2008 R2 SP1 =既に提供中 ・ HPC on Azure スタート ・ Azure 上のロールは WorkerRole ・ Excel をフロントエンドで動かす場合、「SOA」や「XLL」 を使って Azure 上で分散処理 ※ XLL http://msdn.microsoft.com/ja-jp/library/bb687883(en-us).aspx Windows HPC Server 2008 R2 SP2 =現在 Beta…

2

HPC on Azure のデモをライブで見れます。

Microsoft Developer Forum って知ってますか? http://www.microsoft.com/japan/powerpro/mdf2011/default.mspx なんだか私には関係のない話のようにも思えますが、いつの間にか関係者になってしまいました。。。 おかげで、6/8 のセミナーに向けて準備するはずだった SCVMM 2012 を全く触れていません(^_^;) でも、頑張ってます。 なぜか? Windows HPC ですよ、HPC。 私を苦しめてるように見えて、妙に楽しい日々を過ごせている原因は(笑) 私が作った環境の上で萩原が Dryad を動かしてくれて、金曜日は野村が HPC on Azure(VMRole) を使った Excel マクロを動かしてくれました。 今までに無いコラボですが、すっごく楽しい。 で、ちょこっとリークをすると、 スティーブバルマーも登壇する Microsoft Developer Forum の大場のセッション内で HPC on Azure のデモをすることになったんです。 ギリギリまで調整が入ると思うので、登壇はあくまでも予定ですし、登壇してもほんの数分になると思いますが、是非みていただきたく、事前に連絡をさせていただきました。 で、Developer Forum というくらいですから、私のデモは一番地味でしょう(汗) ただ、一昨年の Tech・Ed のキーノートでやった VHDBoot や Core Parking のように、じわじわと凄さを実感してもらえるものにしたいと思ってます。 いつもながら マイクロソフトのストリーミング技術もかなり凄いので、それも実感しながらデモを見てもらえるとうれしいです。 それでは、また月曜日にインターネットで! 日本マイクロソフト 高添

2

HPC on Azure で、Excel マクロの分散処理も動きましたよ!!!

今度は野村が動かしてくれました!!!! お前じゃないんかい(怒) という声も聞こえてきそうですが、ちゃんと役には立ってるんですよ。。。 もうたまりません。 野村と思わず握手しちゃいました(笑) それに、野村が社内の関係者にメールしてくれたおかげで、デモ環境の周りに人が集まってきたくらいですから、ほんとにポテンシャルの凄さに驚きです。 *** で、興奮ばかり伝えても仕方がないですね。 さて、どうなったかというと、 ・ 社内にはHPCのヘッドノードが1台だけ ・ Azure 上に Excel 2010 がインストールされた VMRole を20個 これで、Excel の処理を実行すると、Azure 上の VMRole が分散処理してくれるというわけです。 HPC 特有のプログラムを書いているわけではなく、Azure 上のノードが処理をしてくれるんです。 会計の世界では Excel そのものが業務システム化しているようで、課題だった重くなる処理をHPC on Azure で解決できる可能性が出てきます。 「これまでの常識は今後の非常識」とは言い過ぎかもしれませんが、仮想化をやっている方には是非見ていただきたいと思います。 なぜなら、仮想マシンを無理やりリソースという概念に解釈するのではなく、処理をするためのリソースについてもっとシンプルに考えるきっかけを与えてくれると思いますから。 (もちろん、Azure 上でも仮想化を使っているので、仮想化という要素技術を否定するつもりはなく、もっと大きな視点に立てる気がするわけです) さらに、このシナリオは VMRole のいい使い道を示してくれています。 だって、このシナリオの場合、Azure 上に Excel をインストールしたマシンが必要なわけでして、VMRole が大活躍するというわけです。 Azure の制約によって VMRole の使い道に迷っていた方にとって、とても参考になると思います。 是非楽しめると思いますから、いろんな方に試してみていただけるとうれしいです。 日本マイクロソフト 高添

0