Jumpstarting Big Data Projects / Architectural Considerations of HDInsight Applications @ OOP 2015, TechEd Europe 2014 and PASS Summit 2014

Last week, my esteemed colleague Alexei Khalyako (from AzureCAT – the Azure Customer Advisory Team) and myself were speaking at the OOP 2015 – Software meets Business in Munich on jumpstarting Big Data projects. In fact, this session was also the foundation of our talks at TechEd Europe 2014 and PASS Summit 2014. Here, we…

0

Hadoop on Linux on Azure – Step-by-Step: Install Hadoop (3)

In this article, we set up a Hadoop cluster on Azure using virtual machines running Linux. More specifically, we use the HDP 2.1 on Linux distribution by Hortonworks that also provides the HDP distributions for the Windows platform. Furthermore, we install Hadoop with Ambari, an Apache project that provides an intuitive UI for provisioning, managing…

7

Hadoop on Linux on Azure – Step-by-Step: Build the Infrastructure (2)

In this blog series (Hadoop on Linux on Azure), we set up a Hadoop cluster on Azure using virtual machines running Linux. More specifically, we use the HDP 2.1 on Linux distribution by Hortonworks that also provides the HDP distributions for the Windows platform. Furthermore, we install Hadoop with Ambari, an Apache project that provides…

15

Hadoop on Linux on Azure (1)

In this blog series, we set up a Hadoop cluster on Azure using virtual machines running Linux. More specifically, we use the HDP 2.1 on Linux distribution by Hortonworks that also provides the HDP distributions for the Windows platform. Furthermore, we install Hadoop with Ambari, an Apache project that provides an intuitive UI for provisioning,…

5

Big Data auf der CeBIT

Letzte Woche war ich auf der CeBIT und habe über Big Data DIY auf der IT Pro Bühne gesprochen. Die CeBIT hat mir ungemein viel Spaß gemacht: toller Stand, tolle Bühne, sehr gute Gespräche, sehr gute Vorträge. Auf unserem Microsoft CeBIT Blog kann man viele der tollen CeBIT-Eindrücke nachlesen. Auf diesem Blog kann man unter…

3

Azure PowerShell Serie (4): [Special] Run Twitter Hive Scripts

In dem Beitrag davor (Azure PowerShell Serie: Run Hive Scripts) im Rahmen unserer Azure PowerShell Serie sind wir ein PowerShell-Skript durchgegangen, um schön angenehm Hive-Skripte von PowerShell aus in einem HDInsight-Cluster auszuführen. Wie sieht es denn in einem konkreten Fall aus? Nehmen wir einen Schritt aus der Blog-Serie Big Data Twitter Demo. Zur Erinnerung: Tweets…

1

Azure PowerShell Serie (1): Simple HDInsight

Einen HDInsight-Cluster zu erstellen ist ja recht einfach. In der Blog-Serie Big Data Twitter Demo haben wir bereits einen HDInsight-Cluster von dem Windows Azure Management Portal aus erstellt (siehe Big Data Twitter Demo – HDInsight Cluster erstellen). Wenn man jedoch so wie ich immer öfters einen neuen HDInsight-Cluster erstellt, lernt man PowerShell zu schätzen und…

3

Step-by-Step: Big Data Do-it-yourself

Du willst auch so ein Twitter-Echtzeit-Dashboard inklusive aller tollen Animationen bauen? Du willst wissen, wie Deine Themen in der Zwitscher-Welt jetzt gerade in diesem Moment ankommen? Oder twittern überhaupt welche über Deine Themen? Das schreit ja geradezu nach den üblichen Verdächtigen von Buzzwords: Big Data, Social Media, Echtzeit-Analyse, Sentiment Analysis, etc. Die Blogserie Big Data…

1

Big Data Twitter Demo – Demo (3 von 3)

Nachdem wir nun das große Ganze unserer Big Data Twitter Demo erläutert haben und die auch aufgebaut haben, können wir endlich mit der Demo prahlen!  Dabei unterscheiden wir zwei Stadien: die letzten Vorbereitungen (Stadium zwischen Aufbau und Demo) und Show Time. Letzte Vorbereitungen… Daten sammeln Hive-Analyse starten Refresh Data in PowerPivot Show Time Echtzeit-Dashboard SQL…

1

Big Data Twitter Demo – Aufbau (2 von 3)

Dies ist ein Tutorial zum Aufbau der Big Data Twitter Demo. Die große Übersicht wurde bereits im Artikel Big Data Twitter Demo – The Big Picture erläutert. Dieser Artikel ist folgendermaßen aufgebaut: Voraussetzungen Speicherkonto und Virtuelle Maschine in Windows Azure SQL Azure Datenbank in Windows Azure HDInsight HDInsight Cluster erstellen Hive Virtuelle Maschine Websockets StreamInsight…

1