Jumpstarting Big Data Projects / Architectural Considerations of HDInsight Applications @ OOP 2015, TechEd Europe 2014 and PASS Summit 2014

Last week, my esteemed colleague Alexei Khalyako (from AzureCAT – the Azure Customer Advisory Team) and myself were speaking at the OOP 2015 – Software meets Business in Munich on jumpstarting Big Data projects. In fact, this session was also the foundation of our talks at TechEd Europe 2014 and PASS Summit 2014. Here, we…

0

Mahout for Dummies (3) – Step-by-Step: Mahout with HDInsight PowerShell Style

In the blog series Mahout for Dummies options on how to use Mahout in HDInsight are being explored and elaborated. Contents 1 What is Mahout?2 Step-by-Step: Mahout with HDInsight Interactive Style3 Step-by-Step: Mahout with HDInsight PowerShell Style   Step-by-Step: Mahout with HDInsight PowerShell Style In this episode of the series Mahout for Dummies, we deal…

5

Mahout for Dummies (2) – Step-by-Step: Mahout and HDInsight Interactive Style

In the blog series on Mahout for Dummies, we now get our hands dirty. Let’s see Mahout in action on an HDInsight cluster. Contents 1 What is Mahout?2 Step-by-Step: Mahout with HDInsight Interactive Style3 Step-by-Step: Mahout with HDInsight PowerShell Style   Step-by-Step: Mahout with HDInsight Interactive Style But before heading right into Mahout, the HDInsight…

23

Big Data auf der CeBIT

Letzte Woche war ich auf der CeBIT und habe über Big Data DIY auf der IT Pro Bühne gesprochen. Die CeBIT hat mir ungemein viel Spaß gemacht: toller Stand, tolle Bühne, sehr gute Gespräche, sehr gute Vorträge. Auf unserem Microsoft CeBIT Blog kann man viele der tollen CeBIT-Eindrücke nachlesen. Auf diesem Blog kann man unter…

3

Azure PowerShell Serie (3): Run Hive Script

Willkommen im nächsten Beitrag aus der Azure PowerShell Serie! Wenn man mit HDInsight oder Hadoop arbeitet, eignet sich gerade für SQL-Datenbankler die Sprache HiveQL sehr gut. Mit HiveQL muss man sich nicht extra den Kopf wegen MapReduce-Jobs zerbrechen, sondern kann stattdessen mit einer SQL-ähnlichen Sprache Skripte erstellen, die automatisch in MapReduce-Jobs übersetzt werden. Bei diesem…

1

Azure PowerShell Serie (2): Custom Create HDInsight

In unserer Azure PowerShell Serie knüpfen wir uns die etwas ausgefallenere Erstellung eines HDInsight-Clusters vor. Im Azure Management Portal hieße das konkret folgendermaßen: In dem untenstehenden PowerShell-Skript passieren noch viele weitere Sachen: Hive/Oozie MetastoreHierfür wird im Skript selber ein Azure SQL Server und eine Datenbank erstellt. Analog in dem Azure Portal sieht es so aus:…

3

Azure PowerShell Serie: Happy PowerShell-Scripting!

In dieser Serie werde ich meine Lieblings-PowerShell-Skripte veröffentlichen, die mir das Leben um einige Mausklicks und –Bewegungen erleichtert haben. Da immer weitere PowerShell-Skripte hinzukommen, wird dieser Beitrag dementsprechend kontinuerlich aktualisiert. Simple HDInsight Custom Create HDInsight Run Hive Scripts [Special] Run Twitter Hive Script Create Virtual Machine Create Azure SQL Database Gebt einfach Feedback, was für…

3

Azure PowerShell Serie (1): Simple HDInsight

Einen HDInsight-Cluster zu erstellen ist ja recht einfach. In der Blog-Serie Big Data Twitter Demo haben wir bereits einen HDInsight-Cluster von dem Windows Azure Management Portal aus erstellt (siehe Big Data Twitter Demo – HDInsight Cluster erstellen). Wenn man jedoch so wie ich immer öfters einen neuen HDInsight-Cluster erstellt, lernt man PowerShell zu schätzen und…

3

Big Data Twitter Demo – Demo (3 von 3)

Nachdem wir nun das große Ganze unserer Big Data Twitter Demo erläutert haben und die auch aufgebaut haben, können wir endlich mit der Demo prahlen!  Dabei unterscheiden wir zwei Stadien: die letzten Vorbereitungen (Stadium zwischen Aufbau und Demo) und Show Time. Letzte Vorbereitungen… Daten sammeln Hive-Analyse starten Refresh Data in PowerPivot Show Time Echtzeit-Dashboard SQL…

1

Big Data Twitter Demo – Aufbau (2 von 3)

Dies ist ein Tutorial zum Aufbau der Big Data Twitter Demo. Die große Übersicht wurde bereits im Artikel Big Data Twitter Demo – The Big Picture erläutert. Dieser Artikel ist folgendermaßen aufgebaut: Voraussetzungen Speicherkonto und Virtuelle Maschine in Windows Azure SQL Azure Datenbank in Windows Azure HDInsight HDInsight Cluster erstellen Hive Virtuelle Maschine Websockets StreamInsight…

1