Lab Azure Big Data (2): notebook Jupyter


Dans le cadre d’un programme de “readiness” interne, j’ai participé à la création de contenu autour du Big Data. Comme j’ai eu de nombreuses demandes pour récupérer le contenu que j’ai créé, je me suis dit que ça pourrait peut-être intéresser d’autres personnes. Donc je partage sur mon blog Smile!

Ce contenu est constitué d’une série d’articles qui va de la création d’un cluster HDInsight à l’exploitation des données.

Sommaire des articles

  1. Création d’un cluster HDInsight
  2. Utilisation de MapReduce
  3. Utilisation de Hive
  4. Utilisation de Pig
  5. Analyses des données avec Power BI

Notebook Jupyter

Depuis le portail Azure, retrouvez le cluster HdInsight que nous avons créé dans l’article précédent.

Cliquez sur « Overview », puis sur « Cluster dashboards »

image

Cliquez sur « Jupyter Notebook »

image

Il se peut qu’il soit nécessaire d’entrer les informations de connexion que vous avez définies lors de la création du cluster.

clip_image006

Une fois connecté, créez un Notebook PySpark3. Cliquez sur le bouton « New » puis « PySpark3 ».

image

Vous devez arriver sur une fenêtre du type :

clip_image010

Copiez le code ci-dessous :

text_file = sc.textFile("/example/data/gutenberg/davinci.txt")

counts = text_file.flatMap(lambda line: line.split(" ")) \

.map(lambda word: (word, 1)) \

.reduceByKey(lambda a, b: a + b)

counts.saveAsTextFile("/output-WordCount")

Pour exécuter le code, cliquez sur le bouton play

image

Ce code va compter, pour chaque mot, combien de fois il a été utilisé dans le texte « davinci.txt »

ATTENTION !! Tant que le code est en cours d’exécution, une étoile est présente à gauche du code :

clip_image013

Une fois l’exécution du code terminée, vous devez obtenir l’écran suivant :

clip_image015

Traitement des résultats

Le traitement des résultats se fera plus tard durant ce lab avec Power BI. Il est déjà possible de voir les fichiers depuis le portal Azure, en utilisant le « Data Explorer » du Data Lake Store :

image

Il suffit de cliquer sur un des fichiers « part- » pour avoir une première vue des données :

image

Voilà pour cette seconde partie. Le troisième article va traiter de l’utilisation de Hive.

Franck Mercier


Comments (0)

Skip to main content