Jumpstarting Big Data Projects / Architectural Considerations of HDInsight Applications @ OOP 2015, TechEd Europe 2014 and PASS Summit 2014

Last week, my esteemed colleague Alexei Khalyako (from AzureCAT – the Azure Customer Advisory Team) and myself were speaking at the OOP 2015 – Software meets Business in Munich on jumpstarting Big Data projects. In fact, this session was also the foundation of our talks at TechEd Europe 2014 and PASS Summit 2014. Here, we…

0

Hadoop on Linux on Azure – Step-by-Step: Install Hadoop (3)

In this article, we set up a Hadoop cluster on Azure using virtual machines running Linux. More specifically, we use the HDP 2.1 on Linux distribution by Hortonworks that also provides the HDP distributions for the Windows platform. Furthermore, we install Hadoop with Ambari, an Apache project that provides an intuitive UI for provisioning, managing…

7

Hadoop on Linux on Azure – Step-by-Step: Build the Infrastructure (2)

In this blog series (Hadoop on Linux on Azure), we set up a Hadoop cluster on Azure using virtual machines running Linux. More specifically, we use the HDP 2.1 on Linux distribution by Hortonworks that also provides the HDP distributions for the Windows platform. Furthermore, we install Hadoop with Ambari, an Apache project that provides…

15

Hadoop on Linux on Azure (1)

In this blog series, we set up a Hadoop cluster on Azure using virtual machines running Linux. More specifically, we use the HDP 2.1 on Linux distribution by Hortonworks that also provides the HDP distributions for the Windows platform. Furthermore, we install Hadoop with Ambari, an Apache project that provides an intuitive UI for provisioning,…

5

Mahout for Dummies (3) – Step-by-Step: Mahout with HDInsight PowerShell Style

In the blog series Mahout for Dummies options on how to use Mahout in HDInsight are being explored and elaborated. Contents 1 What is Mahout?2 Step-by-Step: Mahout with HDInsight Interactive Style3 Step-by-Step: Mahout with HDInsight PowerShell Style   Step-by-Step: Mahout with HDInsight PowerShell Style In this episode of the series Mahout for Dummies, we deal…

5

Mahout for Dummies (2) – Step-by-Step: Mahout and HDInsight Interactive Style

In the blog series on Mahout for Dummies, we now get our hands dirty. Let’s see Mahout in action on an HDInsight cluster. Contents 1 What is Mahout?2 Step-by-Step: Mahout with HDInsight Interactive Style3 Step-by-Step: Mahout with HDInsight PowerShell Style   Step-by-Step: Mahout with HDInsight Interactive Style But before heading right into Mahout, the HDInsight…

23

Azure PowerShell Serie (6): Create Azure SQL Database

In dem sechsten Beitrag der Azure PowerShell Serie wird nun ein Azure SQL Server und eine dazugehörige Azure SQL Datenbank erstellt. In der UI würde das so aussehen: In anderen Worten, zunächst wird ein SQL Server auf Azure mit einem automatisch generiertem Namen erstellt (ebenso auf PowerShell), und darauf basiert eine Azure SQL Datenbank. Um…

3

Azure PowerShell Serie (5): Create Virtual Machine

In diesem Beitrag unserer Azure PowerShell Serie erstellen wir per PowerShell eine Virtuelle Maschine auf Windows Azure. Konkreter: wir erstellen eine Windows Server 2012 R2 Datacenter VM. Im Windows Azure Management Portal sieht das folgendermaßen aus: Hierbei wird zuerst eine Affinitätsgruppe und ein Speicherkonto erstellt, mit dem die Virtuelle Maschine assoziiert ist. Die Namen muss…

4

Azure PowerShell Serie (4): [Special] Run Twitter Hive Scripts

In dem Beitrag davor (Azure PowerShell Serie: Run Hive Scripts) im Rahmen unserer Azure PowerShell Serie sind wir ein PowerShell-Skript durchgegangen, um schön angenehm Hive-Skripte von PowerShell aus in einem HDInsight-Cluster auszuführen. Wie sieht es denn in einem konkreten Fall aus? Nehmen wir einen Schritt aus der Blog-Serie Big Data Twitter Demo. Zur Erinnerung: Tweets…

1

Azure PowerShell Serie (3): Run Hive Script

Willkommen im nächsten Beitrag aus der Azure PowerShell Serie! Wenn man mit HDInsight oder Hadoop arbeitet, eignet sich gerade für SQL-Datenbankler die Sprache HiveQL sehr gut. Mit HiveQL muss man sich nicht extra den Kopf wegen MapReduce-Jobs zerbrechen, sondern kann stattdessen mit einer SQL-ähnlichen Sprache Skripte erstellen, die automatisch in MapReduce-Jobs übersetzt werden. Bei diesem…

1