|
在2017年纪据社区将会有大量的时机呈现，并陪伴一些危机性的挑战，下面是对上述问题的纵观。
1．更多的数据科学家将开始利用深度进修 纵观2016年深度进修规模所取得的主要成绩，与那些让深度进修变得越发简朴的东西宣布，以及直接让现有大数据平台和架构整合在一起的东西。显而易见，数据科学家在2017年已不得不选择深度进修，因为通过它可实现的代价已经愈来愈多。看看时间序列和事件数据（包罗异常检测），物联网以及传感器相关的数据阐明，语音识别，以及文本挖掘推荐，深度进修的用例尚有许多。 2．对数据工程相关技术的需求将会一连上升 《哈佛贸易评论》杂志在2012年的时候将数据科学家称为“21世纪最性感的职业”，进展在2017年里对数据科学家的需求会延续下去，可是人才需求将会主要会合在数据工程师（远多于数据科学家）。很多公司在寻找会编程的数据科学家，从而将会需要更多的可以打仗出产系统的数据科学家。这些是唯一无二的技术，他们也同样会得到除了薪水之外的快乐。 3．越来越多的公司将会在云端利用托管处事 一项最新的O’Reilly观测显示，一个组织在云端感觉完大数据之后，往往会催生出更多雷同的大数据处事。 现如今许多公司都打仗了可以或许提供存储、数据处理惩罚、可视化、阐明以及人工智能的托管处事。固然业内已存在许多可以办理这些问题的开源组件，但专有的托管处事逐渐被证明成为了公共的选择。因为这些东西将会被处事提供商所打点，机构内部的数据专业人士将可以或许存眷手头的问题而不消思量需要利用什么样的东西——不外他们得进修如何设计、搭建以及打点在云端运行的应用。 4．并不是所有的对象城市迁移到民众云 遗留系统、敏感的数据、安详、合规以及隐私问题将会需要一个殽杂的架构。这里同样会存在利用定制甚至是私有云的应用，就像为家产物联网设计的Predix可能AWS的CIA。很多公司将会需要可以或许应对巨大环境的办理方案架构。 5．数据的民主化：任务因事情更简朴而简化 提供自助阐明的新东西使得许大都据阐明的任务变的越发简朴。有一些甚至都不需要编程，同时别的一些东西使得在一个事情流下融合代码、图像和文本变得越发简朴。这些并不是统计学家可能数据极客的授权用户们做着通例的数据阐明，让数据专家们有了更多的时间去处理惩罚巨大的项目可能去优化端到端的传输途径和应用。 在这几年里这一切都在产生，我们发明很多使得先进的阐明越发民主化的东西正在鼓起（譬如微软的Azure），可以或许支持对大局限的流数据资源举办收罗，还使得先进的呆板进修可以或许获得成长和应用（像谷歌的Cloud Platform和亚马逊的Machine Learning）。 6．储存和计较的疏散将会加快 加州大学伯克利分校的AMPlab项目在去年十一月已经完成，可是在Apache Spark和Alluxio背后的团队并不是独一一个强调存储和计较相疏散。正如上面所说的那样，存储在云端的风行项目甚至一些最新的深度进修架构使得这个规范越发突出。 7．条记本和事情流东西会的获得一连的成长 Jupyter的条记本因为具有可以或许提供可以办理包罗数据清洗、转换、数字化的仿真、统计学模子和深度进修在内很多问题的多元化架构而被数据科学家们利用和重组。（譬如O’Reilly利用Jupyter条记本作为Oriole Interactive Tutorials的基本）。它对数据小组来说十分有用，因为在notebook里可以或许缔造和分享包括动态代码、公式、可视化和说明性文本在内的文件。通过将Jupyter和Spark毗连，你将可以或许通过简朴接口利用Spark编写Python代码而不是利用Linus的呼吁输入或是Spark shell。 数据专家们将会一直利用多样化的东西。Beaker条记本可以或许支持许多编程语言，此刻尚有将Spark社区作为方针的复合条记本。（Spark Notebook、Apache Zeppelin及Databricks Cloud）。但并不是所有的数据专家都利用条记本：因为条记本不能适应对巨大数据渠道的打点，事情流东西越发适合这点。数据工程师门喜欢软件开拓者利用的东西。跟着深度进修和其他新技能进入数据科学和大数据社区，我们预计现存的东西将会获得进一步的成长和优化。 8．数据社区将会进一步找出要领来办理像隐私和伦理道德一样的问题。 由于呆板进修的普及化、数据资源的多样化以及算法的巨大化，使得透明度变得越来越难实现。在数据应用中实现公正变得比以往越发具有挑战性。纵观2017年我们但愿可以或许看到涉及以下几个方面的国度政策的接头：对成见测试的最佳实践以及方向的理论导致方向功效的意识在不绝晋升。 |
