|
大数据是当今很多企业IT运营的一个重要构成部门。据知名调研公司IDC预测，到2019年，大数据市场产值将到达1870亿美元。大数据是数据阐明的一个要害部门，而阐明又是呆板和人类贸易智能及决定的基本。因为很明明，要是没有某种基本设施，你无法得到各类数据：大数据、小数据或完全正确的数据，所以有须要看一看有助于构建乐成大数据架构的几个因素。 个中，一些因素大概看起来很明明，另一些则较量微妙。实际上，所有因素配合对你的大数据系统将支持的阐明和动作带来庞大的影响。 虽然，不是说只有这七个因素才会对大数据基本设施的事情方法带来影响。大数据系统牵涉许多几何部门，但这七个因素值得你思量，因为它们是很多其他部门和流程的基本。 眼下，你大概在利用大数据，即便你是在一家小公司事情。这要拜现有的基本设施部门所赐――个中很多部门连最小的IT部分也能会见。 陪伴这种可会见性而来的是，那些自己并不拥有数据科学专长的小公司员工大概感想狐疑和沮丧。假如你处于这种景象，本文不会消除你的所有狐疑，可是让你可以开始向潜在的处事提供商和供给商提一些针对性的问题。 大数据远不止Hadoop 在泛泛的谈话中，大数据和Hadoop经常被人换着利用。这样的功效让人遗憾，因为大数据远不止Hadoop。 Hadoop是一种文件系统(而不是数据库)，旨在跨数百或数千个处理惩罚节点传送数据。它用于很多大数据应用，原因是作为一种文件系统，它擅优点理非布局化数据，这类数据甚至不像其周围的数据。虽然，一些大数据是布局化的，为此你需要一个数据库。但数据库是本文先容的一个差异因素。 Hive和Impala将数据库引入到Hadoop 这里说的是面向大数据世界中布局化数据的数据库。假如你想让Hadoop数据平台井井有条，那么Hive大概正是你需要的。这种基本设施东西让你可以针对很是不像SQL的Hadoop处理惩罚雷同SQL的操纵。 假如你有一部门数据很容易放在布局化数据库中，那么Impala是旨在驻留在Hadoop内里的数据库，它还可以利用你从Hadoop转换到SQL进程中开拓的Hive呼吁。所有这三个(Hadoop、Hive和Impala)都是Apache项目，所以它们都是开源的。 Spark用于处理惩罚大数据 到今朝为止，我们一直在谈论存储和组织数据。可是，假如你想实际处理惩罚数据又怎么样?这时候，你就需要一种像Spark这样的阐明和处理惩罚引擎。Spark是另一个Apache项目，它包罗一批开源和贸易产物，拿来你添加到数据湖、客栈和数据库的数据后，对数据做一些有用的操纵。 由于它可以会见你能想象的任何数据的库，Spark可用于处理惩罚存储在各类处所的各类数据。它同样是开源的，所以你可以随意修改它。 你可以对大数据执行SQL操纵 很多人知道如何构建SQL数据库和编写SQL查询。面临大数据时，这种专长没有须要挥霍。Presto是一种开源SQL查询引擎，它让数据科学家可以利用SQL查询，查询驻留在从Hive到专有贸易数据库打点系统的任何情况的数据库。它被Facebook之类的大公司用于交互式查询，而交互式查询这个短语是要害。Presto就比如是一种对复杂数据集执行即席交互式查询的东西。 在线存储有一席之地 一些大数据任务需要用到不绝变革的数据。有时候，这是按期添加的数据，有时是通过阐明而变动的数据。不管在什么环境下，假如你的数据写入与读取一样频繁，那么你就需要该数据存储在当地、联机。假如你付出得起本钱，还但愿数据存储在固态存储介质上，因为这会大大加速速度――假如你在零售或生意业务园地的人员焦虑地期待功效返回，这是个重要的思量因素。 云存储也有一席之地 假如在更复杂的聚合数据库长举办阐明，那么云是完美的平台。聚合数据并传输到云，运行阐明，然后拆掉实例。这正是云最擅长的那种弹性需求响应。操纵不会受到互联网大概带来的任何延迟问题的显著影响。假如你把在专用当地系统长举办的及时阐明与云端运行的深度阐明团结起来，那么离充实发挥大数据基本设施的潜力近在咫尺。 别忘了可视化 阐明大数据是一回事，以一种对大大都人有意义的方法来显示阐明功效又是另一回事。图形对付整个“解读”事情大有辅佐，所以应该将数据可视化视作是大数据基本设施的一个要害部门。 |
