使用Azure HDInsight大数据技术来进行Azure WebSites网站及其他日志文件分析(Log Analysis)


原文地址:http://blogs.technet.com/b/nevin_dongs_blog/archive/2015/03/07/azure-hdinsight-azure-websites-log-analysis.aspx

在使用大数据(Big Data)的实际应用场景中,日志文件是一个很重要的数据来源。相比其他数据源,日志信息总在源源不断的产生中,不论是系统或代码中设置好的触发/生成机制,还是系统(例如 Web Server、Database Server等)配置自动生成的日志,甚至包括了系统或应用执行发生异常或错误的情况,例如,SQL Server Azure VM上AlwaysOn高可用(HA)方案的运行状态相关的日志

而日志文件里所潜藏的价值也正被大数据技术所挖掘,透过对于日志文件一些基础数据的统计、挖掘及分析,可以进一步获得很多非常有用的信息,例如,对网站日志的分析,可以获得页面的点击的情况、外部访问的情况、客户端/服务端错误的情况等,从而进一步分析网页运行的健康度、使用率分布、访问者行为等。

在 Azure 中提供了 HDInsight 云服务来帮助大家进行大数据开发工作,可以把相关数据文件存储在 Azure Storage 中,然后利用 HDinsight 节点来对这些数据进行分析。

在 Azure HDInsight 的查询控制台(Query Console)中,最近提供了一些辅助性的解决方案,其中就包括了如何快速、简捷地建立日志文件分析的应用。如下图可在 HDInsight 服务页面的底部进入查询控制台:

clip_image002

在查询控制台可以看到一些解决方案的样例,就包括了对 Azure WebSites 日志文件分析的解决方案,见下图:

clip_image003

在搭建和运行Azure WebSites网站时,需要对日志选项进行配置,确保可以根据需要保留网站的运行日志信息,如下图:

clip_image004

在查询控制台的日志分析解决方案中,提供了 step-by-step 的执行向导,并提供了详细的解释信息,便于大家了解其中相关的技术细节。如下图:

clip_image005

其中,关键步骤包括了基于日志文件的数据结构,创建 Hive 的表及分区,如下图,解决方案中列出了具体创建过程的语句:

clip_image006

解决方案提供了一些常见的分析,并提供了样例程序,可以基于这些代码进行修改,满足自己的需要。

clip_image007

执行结果可以通过 Excel 来展现,并可以利用大家熟悉的工具,例如 PivotChart,来做进一步分析。

clip_image009

此外,还可以通过查询控制台,查看任务的输出及执行的Log。

clip_image010

Skip to main content