|
跟着物联网和大数据的应用与成长，企业中的数据量天天都在增加，因此需要相识如何满意这些新的IT打算的存储需求。 从冰箱到汽车，物联网涉及险些所有设置传感器的所有设备，并通过互联网毗连将数据传输到中央存储库举办存储。一旦存在，它就成为大数据的一部门，这是对所有信息的阐明。 然而，大数据的应用远远超出了物联网（IoT）。大数据项目可以阐明来自传统或现代数据库甚至非布局化数据的数据。大数据还可以将传感器收集的看似无关的信息与传统数据库中的信息相关联，以提高组织效率。譬喻，交通运输公司可以在其车辆中利用传感器来引导驾驶员选择提高运输效率和低落燃料本钱的蹊径。 回收大数据或物联网项目标长处可以提跨越产力，更好的康健或越发愉快的糊口。跟着用户对这一观念越来越适应，这些技能答允安装越来越少的设备，数据组织的收集量呈指数增长。人们面对的挑战是如何存储这种数据，因为其在范例和数量上与传统存储数据明明差异。 存储需要一个大数据和物联网项目 从存储的角度来看，物联网和大数据是相似的，但他们有差异的需求。物联网项目标存储响应取决于用例。对付传感器，物联网存储系统需要同时处理惩罚来自数百万个传感器的快速输入。因为这些传感器发生的数据凡是很小，所以方针存储系统需要存储大概到达数万亿个小文件，而不会影响机能。 但物联网项目标数据还可以包罗来自摄像机或无人机的监督图像。此数据范例凡是是持续流，因此其存储取决于高带宽和存储，这需要比传感器用例更少但却大得多的大容量文件的本领。而这种挑战越发令人生畏的是，组织为这两种物联网用例都需要提供更大的存储空间。 从大数据的角度来看，存储系统需要会见物联网项目建设的所有或至少大部门数据。组织还可以利用大数据项目来阐明现有数据库和其他非布局化数据，以及关联差异的数据集。 到今朝为止，大数据最常见的基本是Hadoop文件系统。Hadoop文件系统（HDFS）建设处理惩罚处事器集群，并将阐明功课分派给集群中任务量最少的节点。其意图是节点需要阐明的数据在该节点上都是当地数据。这种环境消除了对昂贵的网络基本设施的需要，并可以或许利用低本钱的处事器级存储设备，而不是昂贵的共享企业级存储设备。 物联网和大数据的数据占用和存储I/O的要求与传统数据中心应用并不沟通。首先，物联网数据凡是是持续馈送。数据巨细可以从小到大，而所需要存储的文件数量可以到达数万亿。这使其更容易快速建设大量的数据，其功效是存在对容量增长的一连需求。 这种增长必需快速扩张，而且不会造成粉碎。物联网项目标存储系统还需要本钱有效地扩展，以便组织可以或许长时间存储PB级数据。这需要更低的打点本钱和承担。大大都IT人员基础无法打点来自六个差异供给商的十几个存储系统。IT专业人员需要将其存储硬件要求推广到一至三个涵盖一级和二级应用措施的存储系统，以及物联网和大数据建设的大量非布局化数据。 寻找到物联网项目挑战的谜底 物联网和大数据的应用为IT专业人员带来了一系列挑战。物联网有两种差异的文件存储需求，大大都组织最终都需要这两者。第一个需要随机摄取数万亿的小文件。第二个需要高得多的带宽流的文件，只是数量少得多，但却大得多。单个存储系统少少提供这两种成果。凡是，它们被调解为处理惩罚数万亿的小文件或调解为大型的流文件。 从大数据的角度来看，存储系统需要会见物联网项目建设的所有或至少大部门数据。 大数据项目带来了另一组挑战。首先，来自物联网项目标大部门（假如不是全部）数据需要转移到Hadoop集群举办阐明。第二，Hadoop集群必需可以或许会见业务中的传统数据，譬喻数据库和用户数据。另外，HDFS自己也有挑战。譬喻，单个节点认真阐明功课分派。它还存储群集的所有元数据。假如该节点封锁，整个集群大概会失败。 组织还面对Hadoop的当地存储设计的挑战。通过在节点之间复制数据副原来举办数据掩护。大大都组织将选择三方复建造为默认值。这意味着从容量角度看，这些挑战将会乘以三倍，再加上已经驻留在物联网存储系统上的数据，这对容量提出了更高的要求。 Hadoop设计中的另一个挑战是，集群中处理惩罚功课的最可用节点实际上大概不会在其上存储数据。这意味着功课将具有处理惩罚其本领较差的节点，可能该功课需要将数据传送到最有本领的节点。 |
