Azure HDInsight 3.6 の一般提供開始を発表
執筆者: Pranav Rastogi (Program Manager, Azure, Big Data, Open Source Analytics)
このポストは、4 月 4 日に投稿された Announcing general availability of Azure HDInsight 3.6 の翻訳です。
マイクロソフトは今週開催される DataWorks Summit (英語) で、エンタープライズ クラスの SLA が適用される Azure HDInsight 3.6 の一般提供開始を発表します。HDInsight 3.6 は、Apache Hadoop および Spark エコシステムのさまざまなオープン ソース コンポーネントの最新版をクラウドに導入したもので、こうしたコンポーネントをエンタープライズ クラスのプラットフォームで簡単にデプロイし、安定して実行することができます。
Azure HDInsight 3.6 の新機能
Azure HDInsight 3.6 は、Apache Hadoop/Spark コア プラットフォームやさまざまなオープン ソース コンポーネントを更新したメジャー アップデートです。HDInsight 3.6 では、最新の Hortonworks Data Platform (HDP) 2.6 が採用されています。 この最新プラットフォームは、クラウド ファースト戦略のもとで HDP を市場に提供しようとマイクロソフトと Hortonworks が共同で取り組んだ成果です。この取り組みの詳細については、こちらのブログ記事をご覧ください。
HDInsight 3.6 の一般リリース (GA) 版は、Apache Spark 2.1 を含むバージョン 3.6 のパブリック プレビュー版 (英語) をベースとしています。このプレビュー版をお試しになり、フィードバックをお寄せくださった皆様に感謝申し上げます。おかげさまで、製品をより良いものにすることができました。
また、 Apache Spark 2.1 (英語) の一般提供も開始されました (マイクロソフトの既存の SLA を適用)。 マイクロソフトでは、Spark を Azure Event Hubs に統合し、Kafka for HDInsight の構造化ストリーミング コネクタを活用したリアルタイム ストリーミング ソリューションをサポートします。これにより、Spark を利用してこの Azure サービスに取り込まれた何百万件ものリアルタイム イベントを分析できるようになるため、IoT などのリアルタイムのシナリオが実現されます。HDInsight 3.6 で利用できるのは最新バージョンの Apache Spark (バージョン 2.1 以降) のみとなり、バージョン 2.0.2 以前の旧バージョンはサポートされません。HDInsight で Spark の利用を開始する方法については、こちらのページをご覧ください。
Apache Hive 2.1 (英語) は、SQL 標準の ACID 特性を備えた堅牢なマージのサポートや、その他の数多くの機能強化により、ETL 処理の最大 2 倍の高速化を実現します。今回のリリースには、クエリの 25 倍の高速化を実現する、LLAP (Live Long and Process) を活用した対話型 Hive の最新プレビューも含まれています。新バージョンの Hive のサポートにより、お客様は 1 秒以下のレベルのパフォーマンスを想定できるため、データを移行せずにエンタープライズ データ ウェアハウスのシナリオを実現できます。HDInsight で対話型 Hive の利用を開始する方法については、こちらのページをご覧ください。
今回のリリースには、Hadoop を初めて利用する開発者の皆様向けに、使いやすいグラフィカル ユーザー インターフェイスを備えた新しい Hive ビュー (Hive View 2.0) も含まれています。Hive View 2.0 を使用すると、HDInsight へのデータのアップロード、テーブルの定義、クエリの記述、データからのインサイトのすばやい入手を簡単に行えます。次のスクリーンショットは、新しい Hive View 2.0 のインターフェイスです。
マイクロソフトでは、Jupyter だけでなく Apache Zeppelin (英語) ノートブックも組み込む ことで、対話型データ分析を拡張しています。HDInsight 3.6 を利用する際は、Zeppelin ノートブックがあらかじめ導入されているため、ポータルから簡単に開くことができます。次のスクリーンショットは、Zeppelin ノートブックの画面です。
Azure HDInsight 3.6 の利用を開始する
Apache HDInsight 3.6 の利用開始は非常に簡単で、Microsoft Azure ポータルにアクセスし、Azure HDInsight サービスを作成するだけです。
HDInsight を選択したら、目的とするシナリオに応じて特定のバージョンやワークロードを選択できます。Azure HDInsight は、Hive、Spark、対話型 Hive (プレビュー)、HBase、Kafka (プレビュー)、Storm、R Server といった幅広いシナリオやワークロードに対応しています。HDInsight でのクラスターの作成については、こちらのページをご覧ください。
ウィザードを完了すると、指定したクラスターが作成されます。Azure ポータルのほか、コマンド ライン インターフェイス (CLI) から HDInsight サービスの作成を自動化することも可能です。CLI からクラスターを作成する方法については、こちらのページをご覧ください。
今回の機能強化がさらに皆様のお役に立つことを願っています。HDInsight 3.6 リリースの詳細については、以下の各種リソースをご覧ください。
詳細情報とサポート
- Azure HDInsight の概要
- Azure HDInsight のドキュメント
- HDInsight での Hive の使用
- HDInsight での Spark の使用
- HDInsight での対話型 Hive の使用
- HDInsight での HBase の使用
- HDInsight での Kafka の使用
- HDInsight での Storm の使用
- HDInsight での R Server の使用
- HDInsight で使用できるオープン ソース コンポーネント
- オープン ソース コンポーネントをインストールするためのクラスターの拡張
- HDInsight のリリース ノート
- HDInsight のバージョンとサポート ガイドライン
- HDInsight クラスターを新しいバージョンにアップグレードする方法
- HDInsight に関する質問を Stack Overflow に投稿 (英語)
- HDInsight に関する質問を MSDN フォーラムに投稿 (英語)
まとめ
今週開催の DataWorks Summit (英語) では、Azure HDInsight 3.6 の一般提供開始が発表されます。このリリースではエンタープライズ クラスの SLA が適用されるほか、Apache Hadoop および Spark エコシステムのさまざまなオープン ソース コンポーネントの最新版をクラウドに導入しているため、エンタープライズ クラスのプラットフォームで簡単にデプロイし、安定して実行することができます。ぜひチェックしてください。