最近，我去了一趟美国，看到大数据的几个变化，这些变化有可能极大地改变世界。

第一个变化是开始从被动搜集数据，转变为主动搜集数据。美国一家公司现场给我们表演，电视里正在播放新闻，他们把手机放在电视机旁，手机很快识别出这是CNN新闻频道，以及正在播出什么内容。我们三个人拿出自己的手机，手机同时放三首不同的歌，他们的软件很快辨别出这三首歌是什么，以及作为背景正在播放的电视新闻。这意味着，非结构性的数据编程结构性数据，开始从被动搜集数据转变为主动搜集数据。

第二个变化是非实时转实时。滴滴打车的数据可以说明不同地点的人流情况，但是零售业得到了这些数据，又如何触到它的用户群呢？大家知道这个世界有一个，DSP（Demand－Side Platform 需求方平台），作为中间方，DMP记录用户去了哪个网站，用了什么APP。当人使用APP时，数据会告诉DSP，这个人出现在了某一个地方，DSP就能够帮商户做智能投放。由于背后有大数据支撑，放在很短的时间内就能完成。这种模式对营销来说，绝对是一个颠覆。

另外，还有一个非常重要的变化是对话。美国有两大公司，几乎同时宣布了一项战略性科技——对话的人工智能。比如，你的房间有一个音响，这个音响同时是一个传感器。当你说“我要买一瓶酱油”，音响会和你说：“老板，你是不是要买你之前买过的酱油？”你说：“不是，我要买新的。”它就会告诉你，新的酱油以及同样差不多的有几种，建议你选择哪种。这个变化将引发一个大的颠覆。

▌隐私+归属权：从混沌走向清晰

说到大数据，不得不提的是大数据与隐私这个问题。

这次在美国，见到一个在隐私问题上给美国总统提意见的专家。他说，关于个人隐私会有一个颠覆性的变化，这一变化在欧洲已经开始了，现在是美国。过去，当用户使用一个应用时，都会和应用方签订一个协议，表明用户同意把自己的数据交给应用方以改善用户体验。但是，大部分人都不知道自己同意的是什么，仅仅是点击了“同意”。美国的法律对此准备进行修改，这可能会改变大数据产业。

在这个变化中有个问题，数据分可识别数据、不可识别数据。互联网上的数据，有的可以识别是你，有的不可以识别是你。当不能完全知道他是谁，没有办法和他说你是否同意时该怎么办？现在，美国正在认真讨论类似的事情。

另一个问题是数据的拥有权是谁？早期大家是按照实物的思路，来定义数据拥有权的法律，后来发现这条路撞墙了。数据的可爱之处就是看见就看见了，不在于是你拿着还是我拿着。法律界已经开始关注这个问题。

关于隐私问题，大部分用户更多是希望平衡好，你不能拿到我的数据我一点好处都没有，你拿了数据使用我却一点都不知道。所以，问题是谁有权控制？比如脸书，每一次使用用户数据，会告诉用户，这个数据会在某个点使用，这就涉及数据使用透明和是否可控的权利问题。这个行业里面很多人不想讲这个问题，但并不是不知道。但这是我们做大数据的人必须要慢慢解决的，否则这是一个定时炸弹。

当然，有大量的数据不相关隐私。比如，用1000个人或者5000个人的数据算出来的结果，当做大数据营销的时候，有没有把他捆绑在5000个人当中营销？美国有些法案很可爱，认定个人数据的隐私问题不是放在单独的案例当中，而是放在行业里面。我问专家，为什么要放在行业里面？他说，个人隐私和行业有关，比如卖药的，个人隐私的监管就会非常严格，而游戏类的个人数据会相对简单一些。在欧洲则是一套法律，不分行业。欧洲人认为，隐私是一个人的底线。而美国认为价值和隐私之间可平衡。这些都是未来大家都会议论的课题。

▌做好缝合，不断迭代

大数据的本身是异构异类的数据，就像裁缝把不同的材料缝成一件衣服一样，需要很多技术把数据连接起来，让这些数据可以使用。不同材料缝合在一起，中间会有一些缝合处。

美国任何一个做大数据的人，都会告诉你数据关联很难。美国可以把数据关联起来的公司有几家。美国大数据行业在产业链上，是可以分工的。你干这个，我干那个，大家协同把东西做出来。这和中国的情况是有区别的。

要把大数据整合起来，数据源好不好非常重要。另外有没有不同的环境可以进行数据测试，也很重要。

数据是迭代的，算法是迭代的，产品服务也是迭代的。数据有不同的版本、算法有不同的版本，我们要找到最优、同一个语境下最好的算法，达到最好的服务。

▌将大数据变成企业的洞察力和行动力

对于企业来说，需要将大数据变成企业的洞察力、行动力。10年前，商业决策都是靠经验驱动，用数据证明自己的判断是对的。而数据驱动，则要拥有足够的数据，通过数据发现一些以前没有看到的东西。

比如，有一些人在购物网站搜索过的关键词，两个月后会成为比较流行的关键词。当我们深入分析时，数据会告诉我们，购物里面是有达人的，购物达人看的东西和普通人不一样，他们有自己的方法寻找自己想要的商品。如果能跟踪这些达人，就可以找到用一般推荐引擎无法找到的东西。

一个学习的完整体系，简单来讲，首先有目标定义，之后进行决策、行动、拿到行动结果之后学习。人类学习的一般方法，都是根据这个链路进行，这叫“自学习”：用自己的经验慢慢积累，进行一个自我循环。

大数据里的创新，可以有三个层面：数据的创新、算法的创新、服务的创新。

举一个例子，有一个网站虽然有几亿用户群，但只有几百万人买彩票。如何找到更多用户到这个网站上买彩票呢？按以往的方法，先描述买彩票的人是什么样的，经验认为男的比较喜欢买彩票，年纪应该是25-35岁。而用大数据的方法，则是想猜用户下一步想做什么，可以看4周之内用户有没有看过彩票的内容，如果有，那他就是一个希望要买彩票的人，只是没有在网站里买。用这个思路，我们发现买彩票的女性比男性多，而且往往是在办公室里买的多。这样一来，数据就指明了哪些人在哪些地点是最好去做营销的。

一个公司有没有大数据能力，一般看他有没有预测能力和行动能力。但是布点/收集、存储/刷新、识辨/关联，也很重要。前者是如何让数据更容易使用，后者是如何让数据更有效关联在一起。这个闭环如果可以做好，就可以做一个非常好的数据产品。

好的数据，六个衡量标准是缺一不可。缺少其中任何一个，数据质量就会下降。有的数据很稀缺，很独家，那就是数据价值。数据质量，主要要看准不准，但还要看全不全。如果你只拿到安卓的数据，没有拿到苹果的数据，那就不全。一段段很零散的数据买过来，没有连续性的数据也是不行的。需要找很可靠的伙伴来提供算法、数据、服务。

一家公司是否能用好自己的数据，首先要看一个公司高管、员工有没有意愿，接着看工具。有意愿、有能力、有工具的前提下，才谈到整个公司一定要对数据有自己的方向，有组织保障，以及执行到位。

信息数据化的情况还没有结束，包括应用无线化。对话性的产品，将是颠覆世界的产品。互动的产品，将来或许会越来越多，这也是我们在创新产品时非常大的机会。

我曾经跟一位美国零售集团的高管交流，得知数年前当传统零售业已经意识到电子商务所带来的威胁时，除了大量招聘数据科学家之外，第一件事情就是去收集线上对手大量的实时商品数据。经历了几年后，如今美国的大型零售公司都已经具备选品、动态定价及多终端多渠道的管理能力。为了支持每一秒钟与对手的竞争，你可以想象收集更广更实时数据的重要性，即便是一个简单的天气变化都有可能让你当前商品的竞争力落后于对手。
兵法云：“知己知彼，百战不殆”，对于企业应该如何使用数据，这一句是最贴切的。当很多公司来问我该怎么使用数据的时候，我必然会告诉他用数据了解自己(知己）是使用数据的第一步。第二步就是用数据来了解竞争对手（知彼），并从对手的动态变化中做出攻守判断。大数据的首要关键就在于如何量化数据大小与决策好坏的关系。

你可能会问这么高难度的事情，小企业如何跟得上呢？好消息是，在这几年中，美国的大数据生态已经逐步走向平民化。

最近美国一家专注数据收集爬取的公司就让我眼前一亮。这家公司叫做Import.io，曾被多次评选为最佳创业公司。因为互联网是世界上最大的开放数据源。通过他们的工具， 用户可以瞬间将任何网站转化为数据表格或API. Import.io每天从互联网上搜集千万条记录， 至今已经从30万个网站上收集了上千亿条数据记录。Import.io在同类公司中技术领先。目前该工具对个人用户免费开放， 对企业用户则源源不断地提供大规模，定制化，并有质量保证的数据。

让我感到兴奋的是，他们把釆集半结构化数据这项本来只有技术工程师才能做的事变成了人人都可使用的平民化服务。而健康的大数据生态应该是可以让数据从收集、加工到应用的各个环节变得越来越精细，整个数据处理的过程形成一个互惠互利的产业链，大家都在大数据的海洋中共同分工协作。

我们不得不赞叹美国大数据产业链的发达。在这样一个发达的数据产业链中，有人做数据的中间层，比如把天气跟零售的数据关联起来给需要的人使用；有人把机器学习的门槛降低，变成MLS(Machine Learning as a  Service)，让不懂数据的人也具备数据学习的能力；也有人把数据可视化变得简单易用的工具。Import.io这样的公司就把数据收集变成水电煤一样每个人都能使用的服务。

虽然大数据从原始数据到加工到使用是很长的链条，但如果有好的数据生态和产业链，每个人专注其中的一个环节，各司其职，分工协作，就能把数据的价值发挥到最大。希望在不远的将来，中国也能跟美国一样，早日建立丰富完整的数据产业链。

【本文发表于香港信报，作者：车品觉】

         

        车品觉：大家好！

主持人：车老师一直致力于电子商务尤其是数据方面的研究，在这方面车老师绝对是国内的专家。谈到电子商务，谈到数据这两个维度，我个人觉得这两个恰恰是国内发展最快的两个方向，大数据也好，电子商务也好发展都非常快，能不能介绍一下这两个领域的交集？国内的电子商务平台对于数据分析数据管理目前是处于什么样的水平？

车品觉：很纠结，很多电商在去年或者两年前其实开始知道有数据分析，最近来讲，电子商务的环境也不太好，但是数据这个东西，也不是一时之间能够给出你非常好，非常大的效果的，所以挺纠结，当他发展非常快速的时候电商都想建一片天。到现在环境差了，很多电商对于数据就有点犹豫了，有些公司也会进行裁员等，我只能用一个词“蛮纠结”来形容电商里面的数据。但乐观来讲的话，很多公司还是对BI这方面非常感兴趣，还在继续投资。

主持人：电商企业在数据这方面有什么样的明显误区吗？

车品觉：明显的误区就是，一讲到数据就总说是数据营销，等于说，它把数据想象为一个很重要的利器，我觉得这是没问题的。本来数据就应该产生价值，但如果过于现实，在很多时候，有一些底层的数据基本功没做好，但把数据想象为，数据营销等同于数据我觉得是一个蛮大的误区。

另外一个误区跟电商没有太大的关系。大数据这个词语用的烂了，每个人用自己的方法来解释大数据，然后利用大数据的词变成了一个营销的词了。

主持人：您能具体解释一下大数据吗？

车品觉：一个是数据的量越来越大，一个是数据的种类越来越多，第三个是数据的实时性越来越重要。这三个是讲大数据，但是如果不把数据应用放在商业的场景上去解决一些商业问题的话，数据大其实也是没用的，但当我们讲到用数据来解决一些问题的时候，你会发现，更重要的是把相关的数据区分出来。上午跟一号店的朋友在聊，他们也说数据都很多，很杂，怎么办。我说是的，数据很多，但凡数据多的时候，处理数据，把数据做的干净是有成本的，并且是要把相关数据集中处理，以及去解决一个企业的问题，我觉得这个东西更重要。更好于我们拼命说大数据很厉害，大数据能产生什么样的效果，我觉得这反而会把这个行业做砸了。因为我很担心中国的数据就这么做下去，会非常像前几年的体验物联网的体验式，在一定时间里，产品经理会非常红，到了数据分析师都会提到，我很怕这个东西在中国里面又变成前面几个问题了。一堆一堆的人都说这是数据分析师，一堆人说这是产品的人，一堆人说这是用户体验师，但每个范畴的人都不会有这个水平。反而搞的非常浮躁，我是有点这样的担心。

主持人：目前国内的数据型人才，他们在自己具体的自身业务上存在哪些盲点？就像您刚刚所说，他们把数据分析，把大数据理解的太简单了。

车品觉：其实把大数据理解的太简单，通常都是商业场景的一个人对大数据有借助利益点的一些供应商，通常是他们会比较注重这个事情，不会是数据分析。

数据分析一般盲点最大的地方有两个，大部分是以技术来驱动，不以商业来驱动，很多时候，好象是一个技术人才在做一个事情，而不是一个商业的人员在做这个事情。这是一个比较大的误区，就是商业的理解不够深。往往这只是建立在一个数据平台上，我觉得这个应该是最大的误区。但如果你要数据分析师多理解一个商业场景的话，我觉得必须要BI，这个团队的Leader给他们非常清楚的支持，我觉得你们要了解更多的关于商业的锻炼。

我举一个例子，前段时间我看了他们的报告，我立即跟分析师说你们不要在公司里面，你们跑出去看看中国现在的情况是怎么样的，多出去看看，回来之后我们再谈数据。我觉得这点蛮重要的，数据分析师要培养他的商业感觉，怎么培养？我觉得更多的企业应该这样想，或者更多的数据分析师应该想商业的理解应该怎么样培养。

主持人：您觉得行为数据跟商业数据是密不可分的吗？

车品觉：肯定的。

主持人：这两者之间存在什么样相辅相成的逻辑？

车品觉：有关你讲的行为数据是讲用户的行为数据，中间的连接点是我们没有办法顾及到消费者，有什么样的数据足够让我们把这个人区分出来，当你能够把他区分出来的时候，其他的行为数据才有用。如果你不能把这个用户区分出来，即使你拥有多少的大数据其实也没用。商业的场景上，跟我们行为数据的连接点，这个是什么人呢？所以很多人已经在美国人说，这个是消费者技能，不是商业技能。因为商业技能总是以公司的层面来看数据，不是以消费者的层面来看数据。所以消费者的行为其实显得更重要。

主持人：相对比较成熟的电商平台来说，他们对于数据理解，存在一些误区一些盲点，对于一些刚刚介入电子商务领域的传统企业来说，当他们谈数据的时候，车老师，您有什么比较好的建议或者是意见给他们？

车品觉：其实我觉得，传统企业进去互联网或者互联网从业蛮成熟的一些公司，在数据上我并不觉得他们有多大的优势，已经在点上里面的公司，我不觉得他们有多大的优势。因为做数据的时候，很多时候发现很多的电商公司他们在做数据的时候是无意识的，他收集数据，但是收集数据的时候并没有想，这个数据收集完之后能帮我解决什么问题，其实人家也有一个BI团队，我也有一个BI团队，人家出现经营报告，我也有经营报告，也要做。反正传统企业，有的时候我的朋友进来的时候，更多反而是说我刚开始做，我想问问这样做对我有什么样的好处。我该从哪里做起？并不能说真正的电商在数据上跟传统企业在数据上有多大的壁垒。更多的时候是一个企业的准备，他说，我需要一个数据团队，或者我需要一个BI团队的时候，我觉得老板应该想想，那它给我的到底是什么？我的目标什么？如果我建了一个BI团队三个月我应该看到什么东西，六个月后应该看到什么东西？而不是我准备要建一个BI团队不知道他们干什么，先养一堆兵觉得未来是有用的，我觉得是在其他的商业里面很少做的。

我觉得在数据上也一样。老板才是最需要被教育的一部分。我在阿里有两年多，我觉得在阿里的两年多来讲，我的进步，或者我团队的进步，很大程度上都是在我的老板对我的支持，义无反顾把资源给我，让我去支持他们，我也很用心把数据产生价值，然后让我的老板们觉得有用。因为短时间来讲，老板可能会对数据感兴趣，但是长时间来讲，还是要给出价值来，你价值给不出，绝对没有任何一个老板会给你骗一年的。肯定有一些东西你让他爽，他才会继续给出这个资源，我感觉是这样，商业价值很重要。

主持人：您对BI团队的KPI考核指标有哪些？

车品觉：这个问题真的很到位，一个BI团队因为是后台部门，很难说你做了多少交易，我KPI是多少。我给BI团队的评价很简单，凡是你提出的观点，我说的是商业分析，凡是你能提出的观点，能在我月度经营的报告里面去提出来，并且得到管理者或者是部门去应用，而得到好处，我认为你就可以作为一名合格的分析师了。如果你每天在做数据分析，也没有得到公司管理层和公司的应用，也得不到结果，那你就不是一个分析师。你是一个不可取的分析师。如果你的观点能够让公司颠覆性的看见它以前所没看到的东西，那你是一个超出期望的分析师。我是这样看一名商业分析师的。

这也是很多公司对商业分析师，没有一个了解，所以他不知道怎么去培养他们。我现在的分析师们到每个月底都蛮紧张的，因为他们知道，到了月底要抓功课了，每个分析师进来都会问他们，你们这个月对公司的观点是什么？拿出观点而不是拿出数据。这个我觉得蛮重要的。

我也可以分享一个事情，我对自己团队的周报很重视，每周的周报，每个分析师当他给我周报的时候，他要对应他所支持的商业场景，先给我的是你所支持的部门上个礼拜，它有什么样的运营方案，商业的活动是怎么样的？不是数据。

第二条你刚才跟我讲到，他们有什么移动的数据要我知道。

第三个才是你上个礼拜干什么。

第四个是你上个礼拜你所负责的部门他们有什么行动。

四条里面第一条是讲到你服务的部门，他们运营计划是怎么样。你作为一名分析师，否则连你服务方的运营计划都不知道，你怎么做分析师呢？所以我感觉两种方法，一种是周报来练，一种是月报来练，我跟我的分析师说，当你发现你的观点最后没有放到我的报告中，你知道我对你的感觉是怎么样，反正你的观点不在我的报告中，等于我不认同你的观点，所以你的观点也没有放在我的报告里。

via：iresearch