自動スケーリングで Azure HDInsight クラスターの使用率を向上

執筆者: Alicia Li (Principle Program Manager, Azure HDInsight) このポストは、2019 年 5 月 21 日に投稿された Drive higher utilization of Azure HDInsight clusters with autoscale の翻訳です。   このたびマイクロソフトは、Azure HDInsight の自動スケーリング機能のプレビューを開始しました。この機能は、負荷やカスタマイズされたスケジュールに基づいてクラスターを自動的にスケールアップまたはスケールダウンし、生産性とコスト効率を向上させることを目的としています。 ここで、米国の医療機関の例を見てみましょう。この機関では Azure HDInsight を使用して企業レベルで統合型ビッグ データ プラットフォームを構築し、傾向予測や使用パターン分析に利用するさまざまなデータを処理しています。ビジネス目標を達成するために複数の HDInsight クラスターを運用環境で使用し、リアルタイムでデータを取得してインタラクティブに一括分析を行っています。 厳格な SLA の要件を満たすために、クラスターの中には、ISV アプリ、基幹業務アプリ、アクセス制御ポリシーなどの要件に厳密に適合するようにカスタマイズされているものがあります。こうしたクラスターはスケーリングすること自体が困難で、24 時間体制で最大キャパシティを発揮させるような運用はコストがかさみます。そのため、クラスター作成後に IT 管理者がキャパシティ要件の変化を手動で監視し、クラスターのスケールアップやスケールダウンを行ったり、あるいはそれを実行するカスタム ツールを開発したりする必要があります。そうすると IT 管理者はコスト効率の良いビッグ データ分析ワークロードを構築、運用することが必要になり、自身の生産性を最大限に発揮することができません。 新たに導入したクラスターの自動スケーリング機能を活用すれば、Azure HDInsight サービスによって自動でクラスターを監視できます。クラスターの実際の負荷やカスタマイズされたスケジュールに従って、IT 管理者が指定した最小ノード数と最大ノード数の間でクラスターがスケールアップ、スケールダウンされます。ワークロードの要件が変化した場合は、クラスター サイズの範囲やスケジュールを IT 管理者が柔軟に調整できます。自動スケーリング機能を使用すると、IT 管理者は複雑な監視ツールを構築したり、無駄なリソースやコストの発生を心配したりする必要がなくなります。…


.NET、Python、Java で Azure HDInsight クラスターを管理

執筆者: Tyler Fox (Program Manager, Azure HDInsight) このポストは、2019 年 4 月 18 日に投稿された Manage Azure HDInsight clusters using .NET, Python, or Java の翻訳です。   マイクロソフトはこのたび、.NET、Python、Java 用の Azure HDInsight 管理 SDK の一般提供を開始しました。 このリリースの注目ポイント 対応言語が増加: .NET の他に、Python と Java でも簡単に HDInsight クラスターを管理できるようになりました。 HDInsight クラスターの管理が容易に: HDInsight クラスターの管理に便利な操作が新たに実装されました。クラスターの作成、削除、スケーリング、詳細の取得、タグの更新、既存のクラスターのリスト作成、スクリプト処理の実行などが可能です。 HDInsight クラスターの監視を 1 か所から: HDInsight クラスターと Azure Monitor のログの統合を管理できるようになりました。HDInsight クラスターでは、Log Analytics…


Data Box の Blob Storage インターフェイスの一般提供を開始

執筆者: Vivek Darera (Principal Program Manager, Cloud & AI) このポストは、2019 年 3 月 26 日に投稿された Blob storage interface on Data Box is now generally available の翻訳です。   Data Box の Blob Storage インターフェイスは、2018 年 9 月よりプレビューとして提供されてきましたが、このたび一般提供が開始されました。このインターフェイスは、Data Box で既に一般提供されているサーバー メッセージ ブロック (SMB) およびネットワーク ファイル システム (NFS) インターフェイスに加えて利用できます。 Blob Storage インターフェイスでは、REST API を使用して Data Box にデータをコピーできます。簡単に言えば、このインターフェイスを使用すると Data…


Azure SQL Data Warehouse: ワークロードの重要度のプレビューを開始

執筆者: Ron Ortloff (Senior Program Manager) このポストは、2019 年 3 月 14 日に投稿された Now available for preview: Workload importance for Azure SQL Data Warehouse の翻訳です。   Azure SQL Data Warehouse は、あらゆる規模の企業で利用できる高速で柔軟な安全性の高い分析プラットフォームです。本日マイクロソフトは、Gen2 プラットフォームで、ワークロードの重要度のプレビューを開始しました。ワークロードの重要度はお客様のリソース管理の効率化を支援する機能で、データ エンジニアは要求を重要度別に分類することができます。重要度が高い要求は優先的にリソースにアクセスできるようになり、SLA を満たしやすくなります。 データ ウェアハウス ソリューションの運用では、多くの場合、「少ないコストでより大きな成果」を出すことが求められますが、コンピューティング リソースを簡単にスケールアップできるようになれば、より柔軟な運用が可能になります。しかし、予算の制限が厳しかったり、スケールダウンの必要がある場合は一筋縄ではいきません。ワークロードの重要度を使用すると、リソースの限られた共有環境で、ビジネス価値の高い処理が優先的に SLA を満たせるようになります。 ワークロードの重要度の機能を以下のアニメーションで説明しましょう。アナリストの要求が続いた後、最後に CEO の要求が送信されました。CEO の要求は高い重要度に分類されたため、リソースへのアクセスが先に割り当てられました。これにより、完了までの時間も短縮されています。 重要度で要求を分類する方法 要求の分類は、新たに追加された CREATE WORKLOAD CLASSIFIER (英語) 構文で行うことができます。以下のログインの例をご覧ください。ExecutiveReports ロールが ABOVE_NORMAL重要度にマッピングされ、AdhocUsers ロールが BELOW_NORMAL 重要度にマッピングされています。この構成では、ExecutiveReports…


Service Fabric Processor のパブリック プレビュー提供開始

執筆者: James Birdsall (Software Engineer II, Microsoft Azure) このポストは、2019 年 3 月 4 日に投稿された Service Fabric Processor in public preview の翻訳です。   マイクロソフトの Azure Event Hubs クライアントは、 2 つのレベルで抽象化されていました。1 つは低レベルのクライアントで、イベント送信クラスとイベント受信クラスがあります。これらはアプリケーション側で自由に制御できますが、Event Hubs の設定をアプリケーション側で理解し、常にそれぞれのパーティションに接続している必要があります。この上位のクライアントが高レベルのライブラリ、Event Processor Host です。このライブラリでは、受信側には詳細情報を渡しません。Event Processor Host は複数のホスト インスタンス間で自動的に Event Hubs パーティションの所有権を分配し、指定の処理にイベントを送信します。 Service Fabric は、マイクロソフト提供のもう1 つのライブラリです。アプリケーションを断片的に分割し、複数のノード間で分散させる、汎用のフレームワークです。多くのお客様がアプリケーションに Service Fabric を使っていますが、その中には Event Hubs からイベントを受信するものがあります。Service Fabric のアプリケーション内で Event Processor…


さらに高度なインサイトの取得を可能にするコネクタを Azure Data Factory に追加

執筆者: Linda Wang (Program Manager, Azure Data Factory) このポストは、2019 年 2 月 4 日に投稿された New connectors added to Azure Data Factory empowering richer insights の翻訳です。   データはビジネスの要です。他社を引き離すためには、ビジネス情報をさらに効率的に引き出せるようにすることが重要です。データの量や種類が増え、発生するスピードが速まるほど、データ サイロの壁を越えて統合しなければならないデータセットの種類は増えていきます。企業はそうしたデータを高度に分析し、ビジネス チャンスを得る必要があります。これに対応するビッグ データ分析ソリューションを構築する場合、最初の課題は、さまざまな種類のデータ ストアと接続し、データを集めることです。Azure の分析ワークロード用フル マネージド データ統合サービスである Azure Data Factory (ADF) では、ドラッグ アンド ドロップだけで 80 種類以上のデータ ソースからデータをコピーできます。また、柔軟な制御フロー、高度な監視機能、CI/CD 機能によって ETL フローや ELT フローを運用、管理し、お客様の SLA に対応できます。 本日マイクロソフトは新しい ADF コネクタを発表しました。これを使用することで分析ワークロードのシナリオや可能性がさらに広がります。たとえば以下のようなシナリオに対応できます。 Google…


HDInsight Tools for Visual Studio Code の一般提供開始

HDInsight Tools for Visual Studio Code の一般公開をお知らせいたします。開発者は、HDInsight Tools for Visual Studio Code (VSCode) を使用することで、軽量でありながら強力なコード エディターを手にすることができます。 日本語版のポストは、下記の URL よりご覧いただけます。 https://azure.microsoft.com/ja-jp/blog/hdinsight-tools-for-visual-studio-code-now-generally-available/


サーバーレス メッセージングとビッグ データの仮想ネットワーク サービス エンドポイント

Azure Event Hubs と Azure Service Bus の両方の、仮想ネットワーク サービス エンドポイントおよびファイアウォール規則のパブリック プレビューを発表したのは、去る 7 月のことでした。今日は、これらの機能が一般提供されることを発表いたします。 日本語版のポストは、下記の URL よりご覧いただけます。 https://azure.microsoft.com/ja-jp/blog/virtual-network-service-endpoints-for-serverless-messaging-and-big-data/


Azure Stream Analytics on IoT Edge の一般公開

Azure Stream Analytics (ASA) on IoT Edge の一般提供開始を発表いたします。このサービスを使用することで、開発者は、ほぼリアルタイムの分析インテリジェンスを IoT デバイスにより近い場所に展開し、デバイス生成データの価値を最大限に活用できます。 日本語版のポストは、下記の URL よりご覧いただけます。 https://azure.microsoft.com/ja-jp/blog/azure-stream-analytics-on-iot-edge-now-generally-available/


Azure Data Factory のビジュアル ツールと GitHub の統合が可能に

執筆者: Gaurav Malhotra (Senior Program Manager, Azure Data Factory) このポストは、2018 年 8 月 9 日に投稿された Azure Data Factory Visual tools now supports GitHub integration の翻訳です。   GitHub (英語) は、オープンソース コミュニティや企業に所属する何百万人もの開発者が協力して、コードのホストやレビュー、プロジェクト管理、ソフトウェアのビルドを行うことができる開発プラットフォームです。また、Azure Data Factory (ADF) は、Extract/Transform/Load (ETL) ワークフローの反復的なビルド、オーケストレーション、監視を行うことができる Azure のマネージド型のデータ統合サービスです。今回、この Azure Data Factory を GitHub と統合できるようになりました。ADF のビジュアル オーサリング ツールと GitHub を統合することにより、Data Factory のアセット (パイプライン、データセット、リンクされたサービス、トリガーなど) で、他の開発者との共同作業、ソース管理、バージョン管理を行えるようになります。 これを開始するには、[Set up…