vlambda博客
学习文章列表

对于许多大企业来说，开源大数据分析已经成为日常业务中一个必不可少的组成部分。据New Vantage Partners公司对《财富》1000强公司的高层主管开展的调查显示，如今62.5%的企业在生产环境中至少运行一种大数据工具或应用软件。这比2013年给出同样回复的企业数量高出近一倍，只有5.4%的受访企业没有大数据计划。

说到大数据分析，开源软件是常态，而不是异数。许多企业使用的一些领先工具由Apache基金会管理，许多商业工具至少一部分基于这些开源解决方案。

我们在本文中介绍了市面上12款顶尖的开源数据分析解决方案，其中一些为大数据分析提供了全面的端到端平台，另一些要与其他技术结合起来。它们都适合大企业使用，都是市面上领先的数据分析工具。

1. Hadoop

谈到开源数据分析技术，就不可能不提到Hadoop。Apache基金会的这个项目已经几乎成为大数据的同义词，它让企业能够大规模分布式处理极其庞大的数据集。TDWI和SAS联合开展的一项调查发现，近60%的企业预计在2016年年底之前会在生产环境中拥有Hadoop集群。 

然而值得一提的是，Hadoop本身无法实现数据分析。它通常是从大数据获取洞察力的整个更庞大解决方案的一部分。

2. Spark

 Spark也是Apache旗下的一个项目，它承诺可以迅速处理大数据。实际上，它声称“在内存中运行程序的速度比Hadoop MapReduce快100倍，在磁盘上运行程度的速度快10倍”。

 由于这种出色性能，它常常用于分析流式数据或用于需要交互式分析功能的应用软件中。许多公司经常把它与Hadoop或Mesos一起使用，不过它也能独立运行。最近，它的人气得到了急剧提升，Syncsort在2016年开展的一项调查发现，受访的企业大数据工作人员中近70%对Spark有兴趣。

3. Talend

不像前面两个项目，Talend由一家营利公司管理，而不是由基金会管理。因而，提供收费支付服务。Talend既提供免费产品，又提供收费产品。它免费的开源解决方案名为Talend Open Studio，下载量已超过了200万人次。 

市场研究公司Gartner最近将Talend评为数据集成领域的“领导者”。这家公司声称，相比与之竞争的解决方案，它帮助企业分析大数据的速度快五倍，而成本却只有五分之一。

4. Jaspersoft

与Talend一样，Jaspersoft也有多个版本，有的版本免费，有的版本收费。社区版是免费、开源的，而Reporting版、AWS版、专业版和企业版需要收费，不过随带支持服务。 

Jaspersoft是一款开源商业智能工具，旨在让企业用户可以借助自助服务，满足自己的要求。该公司声称，它的技术支持130000多款应用软件，提供嵌入式商业智能功能。

5. Pentaho

Pentaho自诩为“全面的数据集成和商业智能平台。”该公司主要大力推销它的商业版软件，该软件基于开源社区版。

许多公司将它与Hadoop和Spark之类的工具一起使用，以便能够报告和显示大数据。该软件声称拥有一大批的知名客户，包括英国电信(BT)、卡特皮勒、纳斯达克、美国国土安全部、美国国家海洋和大气局(NOAA)、《纽约时报》、EMC及其他许多企业组织。

6. RapidMiner

RapidMiner声称是“头号开源数据科学平台”，Gartner将它评为高级分析魔力象限报告中的领导者。它能够实现自助式预测分析，承诺有望提升速度飞快的性能。

用户包括宝马、汉莎航空、达美乐比萨公司、索尼、福特、Salesforce、国际特赦组织和通用电气公司。整个RadiMiner平台包括三个独立的组件：RapidMiner Studio、RapidMiner Server和RapidMiner Radoop。这三个组件都采用开源许可证或商业许可证，商业版价格取决于用户数量。

7. Storm

Apache Storm被雅虎、推特、Spotify、Yelp、Flipboard和Groupon之类的公司所使用，它是一种实时大数据处理引擎。 

 它的官方网站解释：“Storm让用户很容易可靠地处理无限制的数据流，它在实时处理方面的功能好比Hadoop在批处理方面的功能。”客户可以将它与任何数据库或任何编程语言一起使用。它具有可扩展、容错、易于部分使用的优点。然而用户要注意的是，Storm还没有进入到1.0版本这个阶段。

8. H2O

H2O被60000多个数据科学家和7000多家企业组织所使用，声称是“世界上领先的开源机器学习平台。”由于它的内存技术，它提供了极其出色的性能。它还与Hadoop和Spark之类的其他许多开源数据分析工具整合起来，支持所有主要的流行数据库，提供收费的支持服务。 

除了标准版的H2O外，该公司还提供Sparkling Water，这个版本整合了Spark和Steam，后者是一种端到端人工智能应用引擎。

9. Lumify

Lumify由一家名为Altamira 科技的公司开发，自称是“开源大数据分析和可视化平台”。 

它让用户易于创建二维或三维图形，可显示实体之间的关系，或在地图上覆盖数据。对于有兴趣深入了解它的工作原理的那些人来说，官方网站提供了几个视频，显示了Lumify的实际运行，上面还有一个演示网站，让用户可以上传自己的数据，并试用软件。

10. Drill

 Apache Drill让用户得以使用SQL查询用于非关系型数据存储系统。它支持一系列NoSQL和基于云的数据存储系统。

Apache Drill包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、Azure Blob Storage、谷歌云存储和Swift。它还让用户可以使用单一查询，即可搜索用不同技术存储起来的多个数据集。此外，它支持许多流行的商业智能工具。

11. MongoDB

作为最知名的NoSQL数据库之一，MongoDB是一种开源非关系型数据存储解决方案。客户包括大都会人寿(MetLife)、芝加哥市、Expedia、谷歌、气象频道、BuzzFeed和Facebook。 

除了免费开源版外，该公司还提供一款收费的企业版和云托管的版本MongoDB Atlas。知名市场研究机构弗雷斯特研究公司将MongoDB评为大数据NoSQL领域的“领导者”。

12. SpagoBI

SpagoBI是一款开源商业智能和大数据分析平台。 

该软件完全免费，但还提供收费的用户支持、维护、咨询和培训等服务。它包括了用于报告、多维分析(OLAP)、图表、位置情报、数据挖掘、ETL(抽取转换和加载)及更多其他方面的工具。它还与流行的内存处理引擎整合起来，能够实现实时处理。