当AI时代降临，深度学习和神经网络都要求运用到大数据。人工智能如何改变了数据的价值?我们要如何去发挥人工智能时代下的数据价值都是值得我们思考的问题。下面芬莱科技带您来看看曾就职于亚马逊和微软总部的首席研发胡鲁辉为我们带来的见解：

　　大数据从过去五年到十年间的变化是很多的。主要表现在数据量的变化。这个从数据的单位应用上已经有非常明显的表现：比如早期的时候我们可能讲几个字节、几个兆，现在讲的是TB、EB。

　　而大数据被采集进来以后，就需要通过数据挖掘，使数据产生价值。大数据的变化，最早可能是Batch Processing，然后Flink、Spark等流处理。像亚马逊、微软，他们推出来云上的服务，是通过云计算这种能力，使大数据更加方便。那再往后是什么?

　　需要三个方面：就是数据、AI和云。也就是通过云计算这个强大的数据分析能力，还有智能的挖掘方法，和丰富的数据，把三方面结合起来，才能把大数据做的更好。

　　尽管我们经常听到有人在谈大数据，但是其实大数据还是刚从概念走向应用，而且产业化价值还不是很大。因此，当前重点就是下一个应该是什么能力或方法，能够帮助我们解决当前的一些挑战，能够让大数据的价值真正的发挥出来。

　　因为以前我们都是从技术角度在考虑这个大数据。我们想到了批处理、流处理，我们感觉现在离线解决了，认为实时也解决了。但是，真正从用户角度考虑，他要的不是数据或者了解具体怎么处理的，用户真正想的就是通过数据怎么能够有很好的用户体验，这是最关键的。

　　那么，这个用户体验怎么来定义呢?

　　可以从四个方面：

　　第一、实时批流计算。数据有两种，静态和动态的，动态的数据，要实时处理，但是静态的数据其实也需要能够实时处理，因为我们的想法和我们的要求一直都在变化，如何能够根据我们实际的需求，马上能够得到结果非常有价值。以前这就比较困难，因为计算方法都先弄好了，如果需要一些新的结果，可能需要一些工程师，还需要一些数据分析的人员，重新来做。但是，真正含义上的实时是可以实时批流处理，虽然你的数据很大，但是通过实时处理，很快的把结果给拿出来。

　　第二、随时可得。这与上面实时批流计算不同，主要体现于如何在当前巨大的数据和复杂的异构数据的情况下，可以随时方便的获得数据或某些结果，亚马逊的Athena可以说是这类服务，你可以通过SQL方式非常方便的在海量的data lake S3里面获得结果。

　　第三、基于数据预测。通过过去和现在的数据能够产生新的数据，这个数据是代表将来新的数据或预测结果。

　　第四、实时决策。这是数据价值体现的关键，也就是说大数据不只是报表或者Alert，也就是在数据驱动下的实时决策和任务执行。

　　数据和智能的结合

　　如何通过智能把大数据更加有效，更加能够体现它的价值?

　　其实从机器学习这几年的快速发展来看，它主要的就是数据的积累。

　　深度学习，像CNN、RNN、DQN、GAN等，深度学习需要很强的计算能力和丰富的数据，另外通过这两方面的基础，使深度学习实现可能。神经网络，尽管从算法理论上来说不是新东西，但是这几年通过计算能力和数据量的提升，使它得到实际上的改变。当然针对计算和数据的依赖，深度学习可以结合Transfer Learning、Ensemble Learning、Incremental Learning等方法来优化。另外深度学习的应用非常广泛：

　　* 第一，图像识别。就是Image Classification。

　　* 第二，机器翻译。举个例子，中文转换到英文，或者英文转换到德文，这里一般用到的技术，就是神经网络这个技术。

　　* 第三，Speech Recognition。现在许多chat box就是基于这个技术。

　　* 第四，Speech Synthesis。这个与Speech Recognition相反，就是怎么把文字转化成语音。

　　* 第五，深度增强学习。这个当前比较火，AlphaGo就是通过这个技术可以对环境实时的做调整和判断。

　　云怎么结合?从技术方面我们怎么样做，怎么通过云计算的这种技术，能够比较快速的帮助大家做智能大数据的应用。

　　以亚马逊为例，比如Amazon Alexa，就是把人工智能做成一个开放性的平台，平台一边是相当于开发人员，就是开发者可以产生不同的skills，另一边就是应用，通过Voice也好，或者通过API的形式也好，可以与不同的设备连接起来。从某种意义上说，这应该是一个开放的人工智能平台，也就是说，开发者他们针对用户场景，可以定制不同的规则，定制不同的模型。然后，运用具体的能力，做一些具体的事情。就是怎么能够通过一个统一的平台，把不同的模型和不同的能力结合起来，通过一个云的平台，把开发人员和消费应用者结合起来，可以支持不同的设备，可以支持不同的解决方案。

　　巨大的数据下，云服务如何帮助智能大数据的应用?

　　其实是个简单的过程，数据比较多比较复杂，可以有边缘数据采集和云上数据收集不同的结合。

　　另一方面，需要数据存储，数据存储以后，下一步就是通过数据分析和数据处理的方法，怎么能够把数据进行实际的分析和实际的应用。怎么通过机器学习挖掘的方法，把数据的关联性找出来，或者说怎么能够通过预测，用过去和现在的数据产生一个新的数据，是人工智能时代的关键。

　　用在微软做的一个大数据Knowledge Recommender为例，怎么通过大数据和机器学习手段，把里面复杂的文字关系挖掘出来?从人类认知角度来讲，理解文字和里面的一些关系，其实是个比较简单的事情。但是对计算机来说，是比较复杂的。我们的云服务系统主要有三大部分：离线预处理、在线实时分析，实时结果再处理。

　　一部分是离线的，一部分是在线的。在离线过程当中，我们基于大量的文本和信息产生知识库;在线过程当中，就是把实时的文本或者实时的数据输进来，通过一些类似的方法把文本理解以后，然后从这个知识库里进行搜索。相当于一个关系的匹配的过程。

　　但是产生的结果，常常会有很多误差，人工智能很大一部分问题就是偏差或误差，如果都是相关的，或者没有产生副作用的还好，但是如果误导了，产生的结果可能会比较严重。第三部分我们怎么把产生的结果进行更好的过滤、优化，然后把结果变得更加准确。所以，这个系统里主要有三个大部分，在具体应用领域，我们可以做相应调整。

　　其实智能在大数据应用的时候，有的时候分不清楚到底是大数据帮助了智能，还是智能帮助了大数据。因为智能可以是一个产品，大数据也可以是一个产品。

　　总结：

　　综上所述，总结起来有三个方面：

　　第一：大数据和人工智能的关系是相当密切的，通过人工智能帮助了大数据的价值实现，反过来说，有了大数据这个技术，可以让人工智能做的更好，所以两者关系相当大。

　　第二：技术在不断的变化，我们在不断的挑战技术，但是如何把大数据或人工智能的价值挖掘出来是非常关键的。

　　第三：人工智能和大数据之间的关系，从一开始就相互关联，今后就是如何让他们变得的更加相关，更加结合，产生不只是1+1的价值，这是我们需要思考的，当然里面会有很多挑战，我们需要不断思考、不断探索、不断实践、不断应用。这就是今天分享的内容。