Supercomputing カンファレンス: マイクロソフトが Linux のサポートを発表

このポストは、11 月 16 日に投稿された Microsoft at Supercomputing: Yes, we support Linux の翻訳です。

組織変革につながる新たな発見や知見を求めて、コンピューティング集約型のモデリング、シミュレーション、分析機能が、さまざまな業界で活用されています。マイクロソフトは 2004 年より HPC への投資を行っており、Supercomputing カンファレンスの場でその成果について発表することにしています。お客様がワークロードをクラウドに移行することで、インフラストラクチャの管理から解放され、オンデマンドのスケーリングを利用できるようになると、次は「Linux もサポートしてくれないか?」という声が聞かれるようになりました。その答えは、もちろん「イエス」です。Microsoft Azure では、お客様が使用するオペレーティング システム、ジョブ スケジューラ、アプリケーション、ツール、データベース、デバイスといったあらゆるものをサポートするための取り組みを続けています。

Linux への対応もその 1 つで、Azure Big Compute チームが毎日努力を重ねています。マイクロソフトは真の HPC の性能を備えたエンタープライズ クラスのインテリジェント クラウド構築を進めており、業界全体のパートナーと協力して世界レベルのパフォーマンス、スケーラビリティ、サポートをお客様のアプリケーションやツールに提供するために取り組んでいます。その他にも、最新鋭のテクノロジを搭載した最新型のクラウド対応アプリケーションを開発して、俊敏性向上と運用コスト縮小を推進しています。

マイクロソフトはパートナーと共に取り組んできたことの成果を、米国テキサス州オースティンで開催される Supercomputing カンファレンス (SC15) で披露します。ぜひお越しになって、Windows と Linux HPC 関連の Azure の最新機能をその目でお確かめください。

エンタープライズ対応のインテリジェント クラウド

マイクロソフトはお客様に真の HPC 性能を提供するために多大な投資を行っている唯一のパブリック クラウド プロバイダーです。マイクロソフトにとっての「真の HPC」とは、パフォーマンス、スケーラビリティ、そして、低レイテンシの RDMA ネットワークや GPU アクセラレータといった機能を、コスト メリットの高いクラウドで提供することです。Microsoft Azure で HPC に取り組むことによって、そこで実現される特別な機能を、これまでよりさらに多くの皆様に活用していただけることになります。マイクロソフトは HPC を研究者やエンジニア、科学者といったあらゆるユーザーの手に届くようにすることを目指しています。

HPC アプリケーションのスケーラビリティ

真の HPC アプリケーションは、InfiniBand などの低レイテンシの相互接続によって拡張性を確保しています。Azure は MPI (Message Passing Interface) やその他の拡張性の高いアプリケーションが使用する RDMA (Remote Direct Memory Access) 通信が可能な InfiniBand を搭載した、コンピューティング最適化が施された仮想マシンを提供します。Azure の RDMA ネットワークは、Windows と Linux の MPI アプリケーションの両方でベアメタルに近いパフォーマンスを発揮します。

マイクロソフトは、Intel と緊密に連携して Azure と SuSE Linux 用に Intel MPI の調整を行いました。それに目を付けた Altair や NASA といったお客様が、自社のアプリケーションでその性能を利用されています。マイクロソフトは Altair (英語) とパートナー提携して、同社の PBS Works Suite とアプリケーションを Azure のお客様に提供しています。

「2015 年初め、Altair と Microsoft Azure のチームは、Azure でのエンドツーエンドのシームレスなエンジニアリング シミュレーション ワークフローの提供に向けた共同作業に着手しました。その範囲は、インダストリアル デザイン、非リニア動的シミュレーション、トポロジ最適化、エンジニアリング データ アナリティクスにまで及びます。まだまだすべきことはたくさんありますが、双方のお客様への提供を目指してここまで前進してきたことに手応えを感じています。マイクロソフトとのパートナーシップは、シミュレーション テクノロジの活用範囲を広げて製品の進化を促し、設計、プロセス、意思決定を最適化してお客様の業務パフォーマンスを向上するという Altair のビジョンにとてもよく合致しています。このパートナーシップの成果として、Microsoft Azure で Altair RADIOSS の提供を開始することを発表します」 – Sam Mahalingam 氏 (Altair 社、CTO HPC/クラウド ソリューションズ部門)。

GPU によるコンピューティングと視覚化

先日、HPC ツールキットの重要な要素である GPU を、Azure の N シリーズ Virtual Machines (英語) で提供することを発表しました。この新しい VM ファミリーはコンピューティングとハイエンドな視覚化に共に対応しており、OpenGL や CUDA といったテクノロジをサポートします。NVIDIA との強力なパートナーシップにより、Azure の GPU は手頃でコスト効率も高く、より多くのユーザーの皆様にご利用いただけます。また、新たな種類のワークロードやアプリケーションを Azure で実行することが可能になります。

「私たちのビジョンは、グラフィックス処理の高速化と高パフォーマンス コンピューティングを、場所を問わずネットワークに接続されているあらゆるデバイスで実現することです。Microsoft Azure とのコラボレーションによって、エンジニア、デザイナー、コンテンツ制作者、研究者といったプロフェッショナルの皆様に、複雑でデータ集約的なデザインをどこからでも正確に視覚化する機能を提供できるようになり、大変うれしく思っています」 – Jen-Hsun Huang 氏 (NVIDIA 共同設立者兼 CEO)。

高い柔軟性と幅広い選択肢

Microsoft Azure は、お客様が実行するオペレーティング システム、ジョブ スケジューラ、アプリケーション、データベース、ツール、デバイスといったさまざまなものをサポートしています。Azure Resource Manager (ARM) はデプロイメントの構成とオーケストレーションを行う接着剤のような役割を果たす機能です。マイクロソフトでは HPC クラスターをデプロイするための ARM テンプレートを開発し、Azure Marketplace でさまざまなパートナー ソリューションと共に提供しています。

Linux クラスターのデプロイメントが容易に

マイクロソフトでは Linux のサポートに続き、クラスターの作成やスケーリングをオンデマンドでシンプルかつ効率的に行えるようにすることを目指しています。ARM テンプレートと Azure Virtual Machine Scale Sets (英語) を使用すると、複数の Virtual Machines を 1 つのセットとしてデプロイして管理し、簡単かつ迅速にスケールアウトできます。

また、構成パラメーターを指定するだけでクラスターを Azure ポータルから直接デプロイできるテンプレート群も作成しています。クラスター テンプレートには、Torque (英語)SLURM (英語)、さらに Windows コンピューティング ノード (英語) または Linux コンピューティング ノード (英語) の Windows HPC Pack が含まれます。ARM クイックスタート テンプレートはすべてこちら (英語) から入手できます。

Linux の HPC Pack

HPC Pack とは、マイクロソフトのクラスター管理とジョブのスケジューリング用ツールのことです。最新版の HPC Pack 2012 R2 Update 3Microsoft MPI v7 (英語) により、オンプレミス、プライベート クラウド、Microsoft Azure の Windows および Azure のコンピューティング ノードに対するスケジューリングがサポートされます。また HPC Pack は、クラスター管理用のリッチな管理者インターフェイスと、バッチやインタラクティブなポリシーを設定できるフル機能のジョブ スケジューラを提供します。HPC Pack は金融サービスのお客様や ISV の間で広く使用されています。

最新版の HPC Pack には、GPU をコンピューティング ノード上のリソースとして扱うスケジューリングのサポート、SOA ワークロードの新しいポリシー、サイクル ハーベスティングのためのカスタマイズ可能なアイドル検出、単一ジョブでの無制限の数のパラメーター スイープ タスクの実行、その他の更新 (英語) が含まれています。また、Azure Batch への「バースト」、Batch を利用したリソース管理、サービスとしてのタスク ディスパッチによる Azure のスケーラビリティ拡大もサポートしています。

HPC ツール

アプリケーションにはデータが伴います。データはエンジニアリング シミュレーション、ゲノム解析、レンダリング、リスク分析といった HPC ワークロードに欠かせない重要な要素です。そのためマイクロソフトでは、この分野のソリューション プロバイダー各社と協力し、データをクラウドでより簡単に使用、操作できるようにすることに取り組んできました。Azure Marketplace では、パートナー各社が開発した多くの新しい HPC ソリューションを ARM テンプレートとして提供しています。

UberCloud (英語) は、Linux デスクトップ、MPI、また、Power on Demand ライセンスのサポートがあらかじめ構成された STAR-CCM+ v10 を提供しています。

また、Azure Marketplace では Intel Cloud Edition for Lustre Software (英語) の評価版も提供しています。Lustre は HPC 用に構築されたスケーラブルな並列ファイル システムで、世界各地のコンピューティング センターで広く使用されています。マイクロソフトは多くのお客様と共に Lustre を使用した Azure アプリケーションのスケーリングに取り組んできました。オンプレミス版からの移行は容易でした。

「Intel® はマイクロソフトと緊密に連携し、Intel Cloud Edition for Lustre* ソフトウェアを Azure クラウド プラットフォームで提供します。Lustre ファイル システムは HPC で最も普及している並列ファイル システムであり、大規模なスケーラビリティと高パフォーマンスをオンデマンドで提供するものです。Lustre ストレージは、最も要求が厳しい HPC やテクニカルなコンピューティング ワークロードも高速化します」 – Brent Gorda 氏 (Intel 社、高パフォーマンス データ部門、ゼネラル マネージャー)。

Avere はスケーラブルなファイル システムを Microsoft Azure に提供します。Avere Hybrid Cloud は仮想 FXT Edge Filer (vFXT) と呼ばれるクラスター化 NAS ソリューションです。vFXT は SMB プロトコルや NFS プロトコルをサポートしており、ファイル ベースのアプリケーションを Azure 上で変更することなく実行できます。スケーリングによって数万に及ぶコンピューティング ノードをサポート可能で、Azure のアクティブ データを自動的にキャッシュして、オンプレミス ストレージ接続時のレイテンシを遮蔽します。

クラウド ネイティブ アプリケーション

Azure でアプリケーションを構築している多くの開発者が、タスク並列実行パターンを使用してファイルやデータを処理しています。マイクロソフトは長年にわたり HPC をサポートしてきた中で学んだことを応用し、コンピューティング クラスターの管理に手を煩わせることなくお客様が Azure のワークロードをスケールアウトするのをお手伝いします。

Azure Batch

Azure Batch は「サービスとしてのジョブ スケジューリング」です。これはサービス用に管理されたタスク実行を必要とする開発者だけでなく、HPC やバッチ コンピューティング ワークロードをクラウドに移行する多くのお客様にとって次の一手となるサービスです。

Batch は大規模なコンピューティング集約型のジョブを実行するサービスです。クラスターや Virtual Machines のセットを管理する代わりに Batch に必要なリソースを指示し、ジョブとタスクを指定してその実行管理を任せます。お客様は Batch を使用して数万のコアでジョブを実行できます。

SC15 では、Linux 仮想マシンのサポートと MPI ジョブのスケジューリングという Batch の 2 つの新機能のプレビューを行う予定です。Batch の Linux ではプラットフォーム中立のアプローチを取り、移植が容易な Python でエージェントを開発しました。また、将来的にカスタム VM イメージなどの追加機能が使用可能になる Virtual Machine Scale Sets を使用しています。

Windows や Linux の仮想マシン上の MPI ジョブのスケジューリングも近く可能になる予定です。MPI アプリケーションは Azure HPC ハードウェアと A9 Virtual Machines での拡張性に優れています。パートナー数社と緊密に連携して Batch でアプリケーションのクラウド対応化を行い、お客様がジョブをクラウドにより簡単にスケールアウトできるようにしています。

会場では、ぜひ私たちのブースにお立ち寄りください。今回の記事に対するご感想を Azure Batch フォーラム (英語)HPC Pack フォーラムまで、またはメールでお寄せください。マイクロソフトはクラウドでの HPC のご利用を全力でサポートいたします。