自動スケーリングで Azure HDInsight クラスターの使用率を向上


執筆者: Alicia Li (Principle Program Manager, Azure HDInsight)

このポストは、2019 5 21 日に投稿された Drive higher utilization of Azure HDInsight clusters with autoscale の翻訳です。

 

このたびマイクロソフトは、Azure HDInsight の自動スケーリング機能のプレビューを開始しました。この機能は、負荷やカスタマイズされたスケジュールに基づいてクラスターを自動的にスケールアップまたはスケールダウンし、生産性とコスト効率を向上させることを目的としています。

ここで、米国の医療機関の例を見てみましょう。この機関では Azure HDInsight を使用して企業レベルで統合型ビッグ データ プラットフォームを構築し、傾向予測や使用パターン分析に利用するさまざまなデータを処理しています。ビジネス目標を達成するために複数の HDInsight クラスターを運用環境で使用し、リアルタイムでデータを取得してインタラクティブに一括分析を行っています。

厳格な SLA の要件を満たすために、クラスターの中には、ISV アプリ、基幹業務アプリ、アクセス制御ポリシーなどの要件に厳密に適合するようにカスタマイズされているものがあります。こうしたクラスターはスケーリングすること自体が困難で、24 時間体制で最大キャパシティを発揮させるような運用はコストがかさみます。そのため、クラスター作成後に IT 管理者がキャパシティ要件の変化を手動で監視し、クラスターのスケールアップやスケールダウンを行ったり、あるいはそれを実行するカスタム ツールを開発したりする必要があります。そうすると IT 管理者はコスト効率の良いビッグ データ分析ワークロードを構築、運用することが必要になり、自身の生産性を最大限に発揮することができません。

新たに導入したクラスターの自動スケーリング機能を活用すれば、Azure HDInsight サービスによって自動でクラスターを監視できます。クラスターの実際の負荷やカスタマイズされたスケジュールに従って、IT 管理者が指定した最小ノード数と最大ノード数の間でクラスターがスケールアップ、スケールダウンされます。ワークロードの要件が変化した場合は、クラスター サイズの範囲やスケジュールを IT 管理者が柔軟に調整できます。自動スケーリング機能を使用すると、IT 管理者は複雑な監視ツールを構築したり、無駄なリソースやコストの発生を心配したりする必要がなくなります。

メリット

スケーリングの判断を自動化

自動スケーリング機能を有効化すると、クラスター サイズの管理を一任できます。

  • 負荷ベース モード: アプリケーションに必要なリソース量に合わせて、クラスター サイズが厳密にスケールアップされます。その際、IT 管理者が設定した最大値を超えることはありません。同様に、リソース要件に合わせて、クラスター サイズは最小限までスケールダウンされます。この場合も IT 管理者が設定した最低ワーカー ノード数を下回ることはありません。
  • スケジュール ベース モード: クラスター サイズは、事前定義されたスケジュールに従ってスケールアップまたはスケールダウンされます。

こうしたメリットを活用すると、IT 管理者がリソースに無駄がないかどうか心配する必要がなくなると共に、企業のコスト効率と生産性も向上します。

必要な分だけにコストを抑えられる

自動スケーリング機能は、パフォーマンスとコスト効率のバランス調整に便利です。クラスターをスケールアップするとビジネス情報をリアルタイムに引き出せ、スケールダウンすると過剰なリソースを削除できます。つまり、使用率を高めながら、コストを必要な分だけに抑えることができます。

独自のシナリオに合わせてカスタマイズ

HDInsight の自動スケーリング機能を使用すると、独自のシナリオに基づいてスケーリング戦略をカスタマイズできます。負荷ベース モードでは、コスト要件に基づいて最大値と最小値を定義できます。スケジュール ベース モードでは、独自のビジネス目標に合わせて各営業日のスケジュールを定義できます。

スケーリング履歴の監視が容易

自動スケーリング機能では、クラスターがどのようにスケールアップ、スケールダウンされたかをすべて確認できます。そのため、自動スケーリングの構成をさらに最適化して、使用率やワークロードのパフォーマンスをより高めることが可能です。

Azure Portal では、過去 90 日間以上のクラスター サイズをズームイン、ズームアウトしながら確認できます。

スケーリング履歴は Azure Log Analytics でもすべて利用可能で、スケーリングが実行された時刻、リソースの必要量、スケーリング後のワーカー ノード数などの詳細をクエリで取得できます。

使用を開始するには

 

Skip to main content