ビッグ データのパイプラインの監視と管理: ADF 監視/管理アプリの一般提供を発表

執筆者: Gaurav Malhotra (Program Manager, Azure Data Factory)

このポストは、2 月 12 日に投稿された Monitoring & Managing big data pipelines: ADF M&M App public release の翻訳です。

Azure Data Factory (ADF) 監視/管理アプリの一般提供が発表されました。

今回、お客様からのフィードバックを基に ADF の監視/管理エクスペリエンスを再設計し、データ開発者やデータ科学者の皆様にさらに効率的かつ直観的にアプリをお使いいただけるようにしました。この一般提供版は、下記の 4 点の改良を目指して完全に再設計され、Data Factory のパイプラインの監視や管理がこれまでよりもずっと簡単になっています。

  1. 情報の表示方法を整理し、パイプラインに関する情報が詳細に表示されるようにする
  2. Data Factory でさまざまなビューを使用できるようにして、パイプラインのナビゲーション機能やデバッグ機能を強化する
  3. Data Factory でのバッチ操作を可能にして、開発者の生産性を向上させる
  4. さまざまなイベント (不具合など) のメール通知を簡単な手順で作成し、有効化できるようにする

ADF 監視/管理アプリには下の図のとおり直観的なエクスペリエンスが採用されていて、新規ユーザーにとっても熟練のユーザーにとっても、作業効率が上がるようになっています。

特に注目していただきたい新機能は次のとおりです。

システム ビュー

ダイアグラム ビューのメイン ウィンドウに Data Factory の既定のリストを表示できるようになりました。[Recent activity windows]、[Failed activity windows]、[In-progress activity windows] のいずれかを選択できます。アクティビティ ウィンドウの詳細についてはこちらのドキュメントを参照してください。

アクティビティ ウィンドウのカレンダー ビュー

Data Factory をパイプラインのアクティビティ ウィンドウで表示できるようになりました。この機能を使用すれば、より少ないクリック数でアクティビティ ウィンドウを監視、表示することができます。また、各アクティビティ ウィンドウで、すべてのアクティビティの実行内容の詳細を確認できます。さらに、カレンダー ビューでアクティビティの実行内容を表示したり、データセットをマウスでポイントしたりすることもできます。

      

日時フィルターをグローバルに適用

日時フィルターを Data Factory 全体に適用できるようになりました。

フィルターの適用

アクティビティ実行リスト ビューで、パイプライン名、アクティビティ名、ステータス、ウィンドウ開始時刻、ウィンドウ終了時刻の各列をクリックすると、フィルターの設定に従って実行内容にフィルターが適用されるようになりました。

並べ替え

アクティビティ実行リストの列を昇順または降順に並べ替えられるようになりました。

ダイアグラム ビューで可能な操作

ダイアグラム ビューが改良され、実行中および停止中のパイプラインが表示されるようになりました。また、ダイアグラム ビューのアイコンをクリックすると、パイプラインを停止し、また再開することができます。

バッチの実行

複数の不具合の再実行、上流のアクティビティ ウィンドウの再実行、複数のパイプラインの停止/再開などをバッチ コマンドで行えるようになりました。

アラート通知

不具合、終了といったイベントのメール通知を、3 つの手順で簡単に作成できるようになりました。

レイアウトを構成可能

エクスプローラーのアクティビティ ウィンドウ リスト ビューをドラッグして、画面全体に表示できるようになりました。

マイクロソフトは、今後も新機能の開発を積極的に進め、監視/管理アプリの利便性と生産性をさらに高めていきたいと考えています。

新しい監視/管理アプリをお試しいただくには、Azure ポータルから Data Factory の詳細ページに移動し、[Monitoring App] をクリックしてください。

ADF 監視/管理アプリのさらなる詳細については、こちらのドキュメント (英語) を参照してください。Azure ポータルから既存の監視機能を使用することもできますが、最新機能をお試しいただく場合は、Azure ポータルの [Monitoring App] リンクをクリックしてください。

Azure Data Factory を使用すると、パイプラインを簡単にすばやく構築することができます。詳細はこちらのページをご確認ください。機能に関するご意見やご要望は、Azure Data Factory フォーラム (英語) までお気軽にお寄せください。