Top52！顶级大数据分析学工具和软件简介

李升伟

如果说信息是21世纪的石油，那么大数据分析学则是燃烧这些石油的内燃机^[1]。（Peter Sondergaard，2011年）

什么是大数据？ 

大数据是无法通过传统工具进行存储、处理和分析的大规模数据集。今天，数以百万计的数据源正在以极快的速度生成数据。这些数据源遍布世界各地。其中，社交媒体平台和网络是最大而典型的数据来源，让我们以脸书为例——它每天产生超过500TB的数据，这些数据包括图片、视频、邮件等等。  

数据存在的格式是多种多样的，可分为结构化数据、半结构化数据和非结构化数据。其中，常规的Excel表格具有明确的格式，还有关系数据库管理系统，被归类为结构化数据；相比之下，电子邮件属于半结构化数据，而你的图片和视频则属于非结构化数据。所有这些数据结合起来就构成了大数据。

什么是大数据分析学?

大数据分析学是一种用来提取有意义创见的过程，可以帮助我们发现很多有意义的东西，如隐藏的模式、未知的相关性、市场趋势和客户偏好。大数据分析学提供了各种优势——它可以用于更好的决策、预防欺诈活动，及其他。数据只有转化为有用的信息和知识，才能帮助管理者进行决策，否则它就没有意义。在这个意义上来说，我们在软件市场上可以找到一些顶级的大数据软件，这些软件可以帮助我们存储、分析、报告和处理更多的数据。 

如今，大数据已经成为企业不可或缺的一部分，公司寻找熟悉大数据分析学工具的人才方面的努力也越来越多。企业管理者们期望员工在他们的技能集上更有竞争实力，展示他们的才华和思维过程，以期补充组织的市场空缺和岗位职责。到目前为止，在过去流行的一些所谓的需求技能已经被淘汰的同时，如果说今天有什么热门的东西的话，那就是大数据分析学^[2] 。

大数据分析学的类型

•         描述性分析

•         预测性分析

•         规范性分析

•         诊断性分析 

需要细化的数据

就像石油一样，数据只有在可用的形式下才有价值。正如原油在炼油厂被转化为更有用的产品（如石油）一样，原始数据在被用于分析之前也需要进行预处理。在实践中，企业收集的用于分析的真实世界数据可能存在以下缺陷:  

•         数据包含不一致或不准确的数据。

•         数据包含丢失的信息。

•         数据不代表它想要代表的人群。  

•         数据的形式还不便于进行预测性分析。  

一项2022年的预测称，每个用户每秒会产生1.7MB的新数据。在一年之内，全世界积累的数据达44万亿GB。这些原始数据需要进行分析，以便进行业务决策、优化业务绩效、研究客户趋势、并提供更好的产品和服务。   

数据的格式和特征

人们最初提出，大数据的三个主要特征被称为3V，即Volume（体量大）、Variety（多样性）和Velocity（速度快）。体量大是指从各种来源产生的海量数据，多样性说明数据的格式多种多样，而速度快指的是生成数据的速率极高，达到了实时的水平。除了这三种，我们还可以从大数据中获得有意义的信息，它们也用来指数据中存在的不一致性和不确定性。应该知道的是，大数据分析通常有三种不同的格式，即结构化、半结构化和非结构化。

结构化数据：基于列的表格形式，如Excel表格。

非结构化数据：以音频文件、视频文件、图像等形式存在。  

半结构化数据：这类数据缺乏适当而且严格的方案，不符合数据模型。   

最佳的大数据分析学工具

大数据分析学工具是一类解决方案，可以从多个来源提取数据，并将其用于可视化和分析，从而发现对数据趋势、模式和关联的更深层次的业务洞见。大数据分析学是一种让数据科学家能够从生成的大数据堆栈中得出一些东西的过程，这种大数据的分析是使用一些我们称之为大数据分析学的工具和软件来完成的。  

在本文中，我们将讨论数据科学家们日常使用的前52种顶尖大数据分析学工具（排名不分先后）^[1]：  

1. Hadoop

Hadoop主要功能是帮助存储和分析数据，被认为是处理大数据的最佳工具之一。它是用Java语言编写的一种开源框架；从纯文本、图像到视频，Hadoop都有能力囊括所有内容。它具有高度的可伸缩性，在研发领域有非常好的应用。我们可以从Hadoop与SQL的比较中选择最佳的解决方案，以获得更好的性能 ^[3]。

2. Talend

Talend侧重用于数据集成和管理，它是全球领先的数据驱动企业开源集成软件提供商，它的客户在任何地方，以任何速度连接；从地面到云端^[4]、批处理到流处理、数据或应用集成，Talend都能实现大数据规模的连接，速度快5倍，成本则是一般的1/5。  

3. Apache Spark

Apache Spark是一种最强大的开源大数据分析工具。它是一种数据处理框架，可以快速拥有非常大的数据集。它可以将数据处理任务分发到多台计算机上，可以单独使用，也可以与其他分布式计算工具联合使用。Apache Spark内置了对流式处理、SQL、机器学习和图形处理的支持，使其成为最快速、最常用的大数据转换生成器。  

4. MongoDB

        MongoDB是一种免费和开源的数据分析工具，为多种技术和平台提供支持。它还支持多种操作系统包括Windows Vista和Linux。此外，MongoDB同时具备了容易学习、可靠和经济的特点。  

5. Pentaho

Pentaho解决了阻碍组织从所有数据中获取价值的障碍，该平台简化了制备和融合任何数据的工作，包括一系列工具，可以轻松地分析、可视化、探索、报告和预测。Pentaho是开放的、可嵌入的和可扩展的，它的架构确保您团队的每个成员——从开发人员到业务用户——都可以轻松地将数据转换为价值。  

6. STORM

Apache Storm是一个跨平台、分布式流处理和容错的实时计算框架，它免费并且开源。Storm的开发商包括Backtype和Twitter，它是用Clojure和Java语言编写的。它的体系结构是基于定制的器件来描述信息源和操作，以便对无界数据流进行批处理和分布式处理。

7. Xplenty

Xplenty以在云上集成和处理数据以用于分析而闻名，它拥有直观的图形界面和高度可伸缩和弹性的云平台，该数据分析工具不需要在硬件、软件或相关人员方面进行投资来转换原始数据。它广泛应用于市场营销、产品销售、供应和开发商等领域。

8. Apache Cassandra

脸书（Facebook）、埃森哲（Accenture）、雅虎（Yahoo）等大型科技巨头的大数据处理都依赖于Cassandra，它是一个开源框架，以在尽可能短的时间内管理巨大的数据量而闻名，使Cassandra与众不同的两个特性是线性可扩展性和这个数据分析工具的免费使用。 

9. CDH (Cloudera Distribution for Hadoop)

Cloudera追求的目标是该技术的企业级部署。它是完全开源的，拥有一个免费的平台发行版，涵盖了Apache Hadoop、Apache Spark、Apache Impala等软件的使用。它允许您收集、处理、治理、管理、发现、建模和分发无限制的数据。  

10. Microsoft Azure

微软Azure，前身是Windows Azure，是由微软建立和运营的公共云计算平台。它提供了一系列的服务，包括计算、分析、存储和网络化。Windows Azure提供的大数据云产品分为两类：标准版和高级版。它为组织提供了一个企业规模的集群，以便他们能够运行他们的大数据工作负载。 

11. Zoho Analytics

Zoho Analytics是一种商业智能和数据分析软件平台，帮助它的用户在视觉上分析数据、构建可视化、并获得对原始数据更好而深入的理解。它使得它的用户集成多种数据来源，可以包括商业应用、数据库、云驱动等。它帮助用户生成动态的、高度可定制的、可操作的报告。  

12. Splice Machine

Splice Machine是一个可扩展的SQL关系数据库管理系统(RDBMS)。它组合提供ACID（原子性、一致性、隔离性、持久性）交易、内存分析和数据库内机器学习。这种大数据分析工具可以从几个节点扩展到数千个节点，支持各种规模的应用程序。  

13. Python

从数据清洗、数据建模、数据报告到构建分析算法，Python可以说是无所不包。它是一种相对容易使用的工具，使用门槛较低。除了用户友好之外，它还以其可移植性而闻名。Python支持许多种操作系统，可以在不对系统做任何改动的情况下使用它们。  

14. Qlik Sense

Qlik Sense已被公认为最可靠的数据可视化和数据分析工具之一，这种工具专注于数据整合、数据读写和数据分析以便充分利用数据。Qlik Sense受到全球数千家公司的信赖。这种数据分析工具自始自终一直在不断创新进步之中。

15. Konstanz Information Miner (KNIME)

KNIME（Konstanz信息挖掘器）是一种免费而且开源的数据分析工具，它覆盖的业务包括数据清洗和数据收集以便为每个用户访问使用。在市场上，KNIME以数据科学工作流的部署而闻名。这个数据分析工具的最佳特征之一是，您不需要事先具备编程知识就可以获得洞察力。

16. RapidMiner

与KNIME类似，RapidMiner通过可视化编程进行运作，能够操作、分析和建模数据。RapidMiner通过一个开放的数据准备、机器学习和模型部署的开源平台，使数据科学团队的工作效率更高。其统一的数据科学平台加速了在单一环境中构建完整的分析工作流程——从数据准备到机器学习，从模型验证到部署，极大地提高了效率，并缩短了数据科学项目的价值实现时间。

17. Splunk

Splunk对很多不同的人来说都是一个很好的选择。它可以处理小型、中型和大型企业数据，以及公共行政部门和非营利组织的数据。

18. Power BI

Power BI是微软公司另一个强大的商业分析解决方案。它有三个版本：桌面版、专业版和高级版。桌面版对用户免费，专业版和高级版则是收费的。您可以可视化 您的数据、连接到许多数据源，并在所在组织中共享结果。随着企业从自动化中获得更多利润，自动化越来越受欢迎，我们可以从microsoft power Automation与uipath的比较中选择最佳的自动化解决方案，以获得更好的性能。 

19. Alteryx

Alteryx是一个可以由公司用来发现和分析数据的工具。不仅如此，这个数据分析工具通过大规模地部署和共享分析结果，有助于发现更深刻的见解。有了Alteryx，就可以将用户、工作流、数据资产等集中到流程中进行管理。  

20 .Apache Kafka

Apache Kafka是一个分布式流平台，用于容错存储；Kafka主要用于构建实时流数据流水线和适应数据流的应用程序，它结合了消息传递、存储和流处理等功能，允许存储和分析历史数据和实时数据。

21. IBM Watson Analytics

IBM Watson是一个AI增强的数据科学解决方案，使员工能够利用专有数据（库）的力量，释放其潜力，并以新的方式应用从数据中获得的见解。它为生命周期管理、数据应用程序、APIs（应用程序接口）和专注于产业的专门化工作提供了各种各样的可定制模块。

22. OpenRefine

OpenRefine（原名谷歌Refine）是一个处理杂乱数据的强大工具：清洗数据，将数据从一种格式转换为另一种格式，并使用web服务和外部数据对数据进行扩展。OpenRefine可以帮助您轻松地探索大型数据集。  

23.  R编程语言

如果我告诉你Project R（一个图形处理器项目）是用R语言自己写的，你会相信吗？其实，它主要是用C语言和Fortan语言编写的，而其功能模块中大多数是用R自己写的。它是一种免费的软件编程语言和软件环境，可用于统计学计算和图形学分析；R语言被数据挖掘人员广泛使用于开发统计学软件和数据分析。近年来，易用性和可扩展性大大提高了R语言的受欢迎程度。

24. Qubole

Qubole数据服务是一个独立的、全方位的大数据平台，可以根据您的使用情况自行管理、学习和优化。这使得数据团队可以专注于业务结果，而不是管理平台。在众多使用Qubole的知名公司中，有华纳音乐集团、Adobe和Gannett。与Qubole最接近的竞争对手是Revulytics。  

25. Tableau

Tableau是一个商业智能与分析的软件解决方案，提供各种集成产品，帮助世界上最大的组织可视化和理解他们的数据。该软件包含三个主要产品，即Tableau Desktop(数据分析师专用)，Tableau Server(企业专用)和Tableau Online(云端使用)。此外，Tableau Reader和Tableau Public是最近添加的另外两个产品。  

26. Apache SAMOA

SAMOA的意思是可扩展的先进的大规模在线分析。它是一种用于大数据流式挖掘和机器学习的开源平台。它允许您创建分布式流机器学习算法，并在多个分布式流处理引擎上运行它们。Apache SAMOA最接近的替代物是BigML工具。  

27. SAS Visual Analytics

SAS Visual Analytics可以很容易地分析和分享公司对其数据需要的强大的洞察力。对于那些需要简单的用户界面并且不介意为方便付费的人来说，这是一个更好的选择。当涉及到创建可视化显示和数据表示时，这个软件是伟大的。企业可以使用它们在不同的会议上展示他们的分析，并帮助不同的部门了解这些分析是如何联系在一起的。  

28. SiSense

SiSense是一个极好的选择，很多经验丰富的商业智能（BI）工具用户都喜欢它，因为它有很多全面综合的功能，几乎可以满足你所有的需求。SiSense由几个不同的部分组成，它有一个非常直观的web界面，还使用了ElastiCube，这是他们用于分析数据的专有数据库，您必须下载ElastiCube并在本地计算机上运行它，但它非常容易使用。  

29. Plotly

Plotly是目前最具视觉吸引力的数据分析工具之一。它是一个基于云的数据科学与解释的解决方案，允许你修改、合成，并以一种图形化的方式发布你的信息，可以与网络上的任何地方交互。Plotly使用Python框架运行，因此它可以轻松地处理分析、可视化等。它有大量的设备来帮助你绘制统计数据，便于分析。它还可以处理科学图形库。Arduino、Python、REST、Perl、R、MATLAB和Julia都与Plotly兼容。

30. ThoughtSpot

         ThoughtSpot是提供下一代搜索的数据分析工具之一。该工具具有广泛的引人注目的功能，特别是基于AI的推荐系统前端，而且，该功能还具有利用众包的潜力。 

31. Trifacta

在数据处理方面，Trifacta是最受欢迎的数据分析工具之一。这些特性可以供个人、团队和组织使用。Trifacta从数据清洗到数据转换无所不包。  

32. Lumify

Lumify是一个用于大数据融合/集成、分析和可视化的免费开源工具，它的主要功能包括全文搜索、2D和3D图形可视化、自动化布局、图形实体之间的链接分析、与映射系统的集成、地理空间分析、多媒体分析、通过一组项目或工作空间的实时协作。

33. HPCC

HPCC是“高性能计算集群”（ High-Performance Computing Cluster）的缩写。这是一个基于高度可伸缩的超级计算平台的完整大数据解决方案。HPCC也被称为DAS（Data Analytics Supercomputer，数据分析超级计算机)， 该工具由LexisNexis Risk Solutions公司开发。

34. DATAWRAPPER

Datawrapper是一个用于数据可视化的开源大数据分析工具。它使用户能够轻松地生成清晰、准确和嵌入的图表。 它在世界各地的新闻编辑室得到了广泛使用。  

35. HCATALOG

HCatalog是一个开源的大数据分析工具，允许专家对大规模数据集进行交互式分析。这种工具设计用于扩展超过10,000个服务器，以秒为单位处理PB级数据和数百万条记录。它支持大量的文件系统和数据库，如MongoDB、HDFS、Amazon S3、谷歌云存储等。  

36. ELASTISEARCH

Elasticsearch是基于Java开发的开源企业搜索引擎，在Apache许可下发布。它最好的功能之一是支持数据发现应用程序及其超级快速搜索功能。

37. Azure Databricks

Azure Databricks是一个统一的大数据分析平台，通过与Apache Spark集成，为企业提供数据管理、机器学习和数据科学。它与大量数据源集成，从各种各样的数据源提取数据，然后通过可视化对其进行转换和分析。除了建立ETL流（Extract-Transform-Load，用来描述将数据从来源端经过抽取、转换、加载至目的端的过程）之外，它还赋能企业创建用于预测分析、预报和未来规划的数据模型。

38. Apache Airflow

        Airflow是一个开源Python框架，允许为大数据流水线编写、调度和监控复杂的数据搜寻任务。与开发与运维（DevOps）界“配置即代码”（ Configuration as Code）的口号一致，它允许开发人员编排工作流，并以编程方式处理执行依赖关系，例如作业重试和警报。通过使用有向无环图（DAGs），开发人员可以根据需要使用多步骤工作流来定制流水线过程。他们可以在任何时候运行工作流的一部分，使任务得到实时更新。

39. BIRT

         商业智能报告工具（BIRT）项目提供数据提取、数据探索和数据处理，以便通过数据可视化和仪表板进行分析。它包括两个主要组件：Report Designer和Runtime。它提供了用于设计和部署数据可视化的富文本（rich-text）和图形组件，赋能企业能够创建企业级报告。

40. Domo

Domo是一款基于云的业务管理套件，可为各种规模的企业加速数字化转型。它执行微观和宏观层面的分析，为团队提供对其业务指标的深入了解，并更智能、更快地解决问题。

41. Apache DRILL

Apache Drill是一个开源的大数据分析学工具，允许专家技术人员对大规模数据集进行交互式分析。Drill由Apache开发，旨在扩展10,000多个服务器，并在几秒钟内处理PB级数据和数百万条记录。它支持大量的文件系统和数据库，如MongoDB、HDFS、Amazon S3、谷歌云存储等。

42. Apache OOZIE

作为最好的工作流处理系统之一，Apache Oozie允许您定义跨多种语言编写或编程的各种作业。此外，这个大数据分析学工具还将它们彼此相互链接，方便用户对数据依赖关系的处理。

43. Orange

Orange是面向新手和专家的开源数据可视化和数据分析软件，并提供了一个大型工具箱来创建交互式工作流来分析和可视化数据。Orange压缩包软件提供了不同的可视化，从散点图、条形图、树、树形图、到网络和热图。

44. Weka

Weka这种开源软件是一个用于数据挖掘任务的机器学习算法集合。这些算法既可以直接应用于数据集，也可以从您自己的JAVA代码中调用。它也非常适合开发新的机器学习方案，这是因为它完全是用JAVA编程语言实现的、并且支持几个标准的数据挖掘任务。

45. NodeXL

NodeXL是一个关注关系和网络的数据可视化和分析软件，它提供精确的计算，是一个免费的（不是专业的）和开源的网络分析和可视化软件。它是数据分析的最佳统计工具之一，具有先进的网络指标，具备有访问社交媒体网络数据的导入器、并能够自动化。

46. Gephi

Gephi也是一个在NetBeans平台上用Java语言编写的开源网络分析和可视化软件包。想象一下，在领英或脸书中具有广泛联系的巨大朋友地图，Gephi更进一步、提供了精确的计算。

47. Adverity

Adverity是一个灵活的端到端营销分析平台，赋能营销人员能够在单一视图中跟踪营销绩效，并毫不费力地实时发现新的洞见。得益于来自600多个数据源的自动数据集成、强大的数据可视化和AI驱动的预测分析，Adverity使营销人员能够在单一视图中跟踪营销绩效，并毫不费力地实时发现新的见解。

48. Dataddo

Dataddo是一个无编码的云基ETL（抽取-转换-加载，Extract-Transform-Load）平台，它将灵活性放在第一位，具有范围宽广的连接器，用户可以选择自己的指标和属性，这样，Dataddo使创建稳定的数据管道变得简单而快速。Dataddo可以无缝地插入到现有的数据堆栈中，因此您不需要向架构中添加尚未使用的元素，也不需要更改基本工作流。Dataddo直观的界面和快速的设置让你专注于整合你的数据，而不是浪费时间学习如何使用另一个平台。

49. Solver

Solver专业化地提供世界一流的财务报告、预算和分析，可以通过按钮访问所有数据源，从而推动公司范围内的盈利能力。Solver提供BI360，可用于云和内部部署，专注于四个关键分析领域。

50. Skytree

Skytree是一个很棒的数据分析工具，它允许用户和数据科学家非常快速地创建极其准确的模型。它所提供的预测性机器学习模型非常直观，使实验和数据操作非常容易。Skytree提供了大量的功能，它们的算法具有很强的可扩展性。这意味着，无论你是小业主、企业家，还是大型企业家，你都可以使用他们的模型，并且知道他们会根据你输入的数据规模进行扩展。

51. Google Fusion Tables

谷歌融合表是一个用于数据分析、大型数据集可视化和映射的极好工具。毫不奇怪的是，谷歌令人难以置信的地图软件在推动这个工具进入业绩榜单方面发挥了重要作用。

52. Infogram

Infogram提供超过35种交互式图表和500多种地图功能，帮助您美观地可视化数据，创建各种图表，包括柱状图、条形图、饼状图或字云。你甚至可以在你的信息图表或报告中添加一幅地图来给你的受众留下深刻印象。

 参考文献：

1.      Top 50 Big Data Analytics Tools and Software You should know in 2022 - Big Data Analytics News  https://bigdataanalyticsnews.com/top-big-data-analytics-tools/

2．科学网—为什么大数据对管理成功很重要? - 李升伟的博文  https://blog.sciencenet.cn/home.php?mod=space&uid=2636671&do=blog&id=1386951

3. 科学网—Hadoop vs SQL：大数据软件分析 - 李升伟的博文 

https://blog.sciencenet.cn/blog-2636671-1386721.html

4. 跨接地面与云端的卫星应用 - 360文库  https://wenku.so.com/d/56510be743b667ba1365e044f37a62bb