Jupyter Notebook で HDInsight Spark のジョブとデータをビジュアルで把握する

 執筆者: Ruixin Xu (Senior Program Manager, Big Data Team)  このポストは、2019 年 4 月 29 日に投稿された Understanding HDInsight Spark jobs and data through visualizations in the Jupyter Notebook の翻訳です。    データ セットを迅速に調査したり、トレンドを分析したり、機械学習モデルのテストを行う際に便利なのが、HDInsight Spark クラスター上の Jupyter Notebook です。しかし、Spark ジョブや中間データの状態が追跡できなければ、Jupyter Notebook 内で何が行われているかをモニターし最適化することは難しくなります。  これに対処するために、マイクロソフトは最先端のジョブ実行と可視化のエクスペリエンスを HDInsight Spark のクラスター内の Jupyter Notebook に追加することにしました。そして本日、リアルタイムの Spark ジョブ進行状況インジケーター、PySpark DataFrame での matplotlib のネイティブ サポート、セル実行状態インジケーターをリリースしました。  Spark ジョブ進行状況インジケーター  ノートブック内でインタラクティブな Spark ジョブを実行すると、リアルタイムの進行状況バーを備えた Spark ジョブ進行状況インジケーターが表示され、ジョブの実行状態を把握できます。タブを切り替えると、アクティブなタスクと割り当てられたコアのリソース使用率ビューを表示したり、ガント チャートでワークロード全体のジョブ、ステージ、タスクを確認したりできます。  PySpark DataFrameで matplotlib をネイティブ サポート これまで PySpark は matplotlib…


.NET、Python、Java で Azure HDInsight クラスターを管理

執筆者: Tyler Fox (Program Manager, Azure HDInsight) このポストは、2019 年 4 月 18 日に投稿された Manage Azure HDInsight clusters using .NET, Python, or Java の翻訳です。   マイクロソフトはこのたび、.NET、Python、Java 用の Azure HDInsight 管理 SDK の一般提供を開始しました。 このリリースの注目ポイント 対応言語が増加: .NET の他に、Python と Java でも簡単に HDInsight クラスターを管理できるようになりました。 HDInsight クラスターの管理が容易に: HDInsight クラスターの管理に便利な操作が新たに実装されました。クラスターの作成、削除、スケーリング、詳細の取得、タグの更新、既存のクラスターのリスト作成、スクリプト処理の実行などが可能です。 HDInsight クラスターの監視を 1 か所から: HDInsight クラスターと Azure Monitor のログの統合を管理できるようになりました。HDInsight クラスターでは、Log Analytics…


はじめての Azure Data Lake ~ そもそも Data Lake って何? ~

この記事は、2017 年 2 月 22 日 に Data Platform Tech Sales Team Blog にて公開された内容です。   Microsoft Japan Data Platform Tech Sales Team 丹羽 勝久 1. はじめに 昨今、クラウドを中心としたトレンドとして、AI、IoT、機械学習などのキーワードが非常に盛んに取り上げられていますが、このような技術、手法が進化すればするほど、扱うデータの量、形態が多様になり、よりデータの蓄積基盤が重要になってきます。これらの領域が扱う大容量のデータ蓄積基盤の1つにデータウェアハウス(DWH)がありますが、このデータウェアハウスと併用して利用するデータレイク基盤が、現在注目されています。 そもそもデータレイク基盤とは何でしょうか?何故、データウェアハウスだけでなく、データレイク基盤も必要なのでしょうか?


MS クラウド ニュースまとめ – HDInsight Preview, ExpressRoute値下げ,他 (2016/03/29)

このポストは、2016 年 3 月 29 日に投稿された Cloud Platform Release Announcements for March 29, 2016 の翻訳です。 このブログ記事では、クラウド プラットフォーム チームが進める一連の新しい更新をまとめて紹介します。 マイクロソフトは、現在の “モバイル ファースト、クラウド ファースト” の世界で、エンタープライズでのクラウド文化の採用を可能にするテクノロジとツールを提供します。当社の差別化されたイノベーション、包括的モバイル ソリューション、および開発者ツールが、クラウド ファースト時代の真の可能性を実現するうえで、すべてのお客様を支援します。 クラウドでの迅速なイノベーションを期待されるお客様にお応えして、マイクロソフトは幅広いクラウド プラットフォーム製品ポートフォリオを提供しています。お客様に最新情報を提供するため、以下の一覧に当社の最新リリースをまとめました。また、より多くの情報を必要とされるお客様のために、詳細情報へのリンクも示しています。今回の更新内容は次のとおりです。 HDInsight Premium (セキュリティ、RRE、Spark) パブリック プレビュー ExpressRoute Premium の価格見直しによる値下げ CentOS VM イメージ – 米国政府機関向けに提供開始 ACOM における Java および Node.js の新デベロッパー センター RTM HDInsight Premium (セキュリティ、RRE、Spark) パブリック プレビュー R Server…