HDInsight


HDInsight 概要

HDInsight は、Microsoft Azure で利用できる Hadoop サービスです。
HDInsight では、Hortonworks 社 の Hadoop ディストリビューションである Hortonworks Data Platform (以下、 HDP )を使用することが出来ます。
クラウドサービスなので、分散処理基盤の煩雑な物理サーバーの管理を気にすることなく、Hadoop のコンポーネント群を利用することが出来ます。

HDInsight では、既に Hadoop コンポーネントがインストールされたクラスターをデプロイすることが出来ます。HDInsight のクラスタータイプ

目的に応じてクラスターを選択し、デプロイしてください。

HDInsight のクラスタータイプ一覧

  • Hadoop
  • Spark
  • HBase
  • Storm
  • Interactive Hive(Preview)
  • R server
  • Kafka(Prview)

それぞのクラスターの詳細については、こちらをご覧ください。

HDInsight クラスターに含まれるコンポーネントとユーティリティ

いずれの HDInsight クラスターをデプロイした場合でも、次のコンポーネントはインストールされています。

  • Ambari
  • Avro
  • Hive
  • HCatalog
  • Mahout
  • MapReduce
  • Oozie
  • Phoenix
  • Pig
  • Sqoop
  • Tez
  • YARN
  • ZooKeeper

それぞれのコンポーネントの詳細については、こちらをご覧ください。

次回は、実際にクラスターのデプロイをご紹介します。

関連リンク集

https://docs.microsoft.com/ja-jp/azure/hdinsight/

https://jp.hortonworks.com/products/data-center/hdp/