最近的三本书有助于管理层找到这些问题的答案：《大数据：改变我们生活、工作与思考的革命》（Big Data: A Revolution That Will Transform How We Live, Work, and Think）的作者维克多·梅耶-勋伯格和肯尼斯·库基耶分别是牛津大学互联网管治教授和《经济学人》的数据编辑；《预测型分析》（Predictive Analytics: The Power to Predict Who Will Click, Buy, Lie, or Die）的作者艾力·西格尔是 Predictive Analytics World 创始人及哥伦比亚大学前任助教；《跟上量化分析师的脚步》（Keeping Up with the Quants: Your Guide to Understanding and Using Analytics）则由巴布森学院信息技术与管理教授托马斯·H·达文波特与韩国国防大学的 Jinho Kim 合著。前两本书着重讲了大数据与量化分析的威力，第三本书则指导企业如何利用这些技术。三本书既包含介绍也包含建议，加在一起，它们可以成为想理解这个复杂数据时代的管理层的入门读本。

如何理解“数据化”

根据艾力·西格尔的估计，人类如今每天都会增加 2.5 万亿字节的数据。文字成了数据，机械的物理状态成了数据，我们所处的地理位置成了数据，甚至人与人之间的互动也成了数据。“很多时候，数据的收集是被动的。你不但不需要做什么，甚至都不知道自己的数据被记录了。另外，由于存储成本大幅降低，我们没有什么理由要删除任何数据了，”维克多·梅耶-勋伯格和肯尼斯·库基耶写到。两位作者用“数据化”一词来描述这种新现象。的确，数据淹没了我们，不过这究竟意味着什么？

当然，擅长有选择地进行数据分析的公司已经从数据中找出了各种有价值的关联。有些结论并不令人意外。例如西格尔发现那些会购买小绒垫垫在椅子腿下方以保护地板的人的信用记录往往较好。还有一些结果则很出人意料。某些办公室里，吸烟者得腕管综合症的几率比不吸烟的人更低（或许是因为吸烟让他们休息得更频繁）。素食者误机的比率也比较小（或许因为他们提前预定了特餐，所以不想错过这班飞机）。

不过，管理者要获得这样的信息，就必须从过去的“小数据”心态中彻底摆脱出来。梅耶-勋伯格和库基的书非常引人入胜，信息量也很足。他们提出了三个要点：

1. 企业应该用全部的数据，而不仅仅是某一部分。在过去，企业没有经济能力捕捉、存储与分析关于其各类业务的全部数据，因此只能用其中的一部分。但如今像亚马逊这样的公司已经完全可以把每一个顾客的交易数据都捕捉和存储下来。
2. 接受混乱。不准确的数据的危害比以前要小了，因为巨大的数据量可以弥补单一数据的不足。用作者们的话说：“更好不如更多。”
3. 拥抱关联。对于很多目的而言，有关联就足够了，人们不需要知道因果关系。梅耶-勋伯格和库基提到，某个关于二手车的分析发现橙色汽车发生故障的几率比其它颜色的汽车低一半。就算我们不知道这背后的原因，橙色和故障的关联也是有价值的信息。（或许橙色车的车主更热爱汽车，因此更爱护它？）

大数据的另一个要点在于，很多对数据的应用和收集数据时的原始目的完全不同。距离来说，手机公司收集地理位置信息是为了有效地转接电话，但这些数据也可以用来了解人们周末晚上去哪玩──这一信息对于预测房地产价格可能会有帮助。确实，梅耶-勋伯格和库基承认“数据的许多价值源自其次要用途和期权价值，而非主要用途。”事实上，两位作者预测，“每组数据集都很可能包含内在的隐藏价值，现在人们正在抢着发现和捕捉它们。” 虽然如此，我们也要指出很多潜在的数据应用都游走在伦理、道德甚至法律边缘。例如一个人的社交网络可以被用来判断他的信用记录。假若他的朋友中多有信用记录不佳者，那么根据“近墨者黑” 原理，他或她是不是也更有可能拖款？

西格尔的《预测型分析》主要讲的是如何将一个人做某件事──无论是拖款、升级有线电视套餐还是跳槽──的可能性量化。作者描述了如何通过量化技巧在数据中寻找有价值的规律，从而帮助企业预估顾客、员工等人的行为。根据书中的信息，联邦快递能以 65% 到 90% 的准确率预测哪些用户更容易转用别家快递服务。美国公民银行（Citizen Bank）可以通过更加复杂的量化分析手法将支票诈骗带来的损失减少 20%。另外，惠普一直在依靠预测型分析来预判哪些员工更有可能离职，从而给经理们留出充分的时间挽留员工，或是为其离职做好准备。（有趣的是，惠普的某个部门里，获得升职的员工若是薪水没有明显增加，反而更加容易离职。）

当然，每人的情况不同，出现“黑天鹅”事件的几率也必须考虑进去。但整体而言，人类的确是习惯性动物，这种惯性让企业得以预测某些行为发生的可能性。此外，西格尔对“预报”和“预测”做了明确区分：“预报讲的是下个月在内布拉斯加州总共会卖出多少个甜筒，预测则会告诉你哪些内布拉斯加人最有可能买甜筒。”

《预测型分析》的某些段落有点冗长（作者花了很长的一章专门讲 IBM 的华生电脑如何在美国的益智抢答节目 Jeopardy! 上获胜），但它仍然包含了足够多简明有力的见解，翻一翻至少是有益的。书中提到了所谓的“预测效应”。具体而言，预测效应是指哪怕预测的准确度只有微小提升，都有可能极大节省开支。例如，西格尔说有家保险公司通过预测性分析将赔付率（赔款支出除以保费收入）减少了仅 0.5%，结果一年就省下了 5000 万美元。

把握量化分析的力量

知道预测性分析能帮公司省 5000 万美元是一回事，知道如何利用这种分析工具是另一回事。的确，管理者必须超越对着大数据和量化技巧惊叹的蜜月期，了解企业如何能够最好地从这个新的复杂计算年代获益。《跟上量化分析师的脚步》一书就能提供很好的帮助。如书名所暗示，本书是给并非分析专家、但渐渐需要理解这一类专家的管理者（包括企业内部与外部的）看的。

在本书中，作者达文波特与 Kim 介绍了量化分析师的思考方式。整个框架包括三大步：定义问题、解决问题、沟通结果。

1. 定义问题。这一步看上去或许简单直接，其实不然。举例来说，若企业想要了解邮件直销的成功率，就会问“多少人收到邮件后会买我们的产品？”但其实应该问的是“有多少原来不会买我们产品的人，收到邮件后会买？”（即在本例中因果关系很重要，企业想知道的是邮件的效果如何。）

在定义问题时，管理者必须让所有利益相关者参与进来。这不仅仅是为了了解他们的观点，也是为了搞清楚在分析结束后他们会不会认同其结果。这里的一个关键问题是：这次分析会带来什么样的行动？达文波特和 Kim 讲述了一家连锁餐厅的故事。这家餐厅想研究自己的菜单上的每一道食品的盈利能力。当管理者们被问到打算拿这次分析的结果来干什么时，一位管理者说打算取消那些不赚钱的菜，但另外一位管理者则反驳说，餐厅在过去二十年里从来没有取消过一道菜。经过进一步讨论后，管理者们转而决定研究菜品定价，而非盈利能力。

2. 解决问题。这一步由建模、数据收集和数据分析构成。作者强调了新信息源的价值──更多、更好的数据往往比更好的用来分析那些数据的算法更加重要。举例来说，保险公司 Progressive 利用 FICO 公司提供的数据分析评估了某个特定顾客未来可能发生车祸的几率，从而超越了竞争对手。另外，在 Hadoop 和MapReduce 等工具的帮助下，企业不仅可以考虑使用结构化的数据（例如顾客的年龄与收入），也可以开始用非结构化的信息（例如文字与图片）。
3. 沟通结果，并采取行动。许多量化分析师都犯了一个错误：假定他们可以单纯“靠结果说话”。这是不对的。“把结果呈现得越清晰，量化分析越能导向决策与行动──毕竟进行量化分析最初的目的就是这个，”达文波特和 Kim 写到。有时光是清晰还不够，结果还需要以引人入胜、友好的形式展现。举例来说，德勤咨询为 Delta 航空公司开发了一个 iPad 软件，让管理者能够迅速查询航班的运营情况。软件用不同的颜色表示各机场的状态，触摸地图上的某个机场则能够调出有关当地的额外信息。管理者若想深挖，还可以进一步取得更细致的信息：员工、客服水平、相关问题。

《跟上量化分析师的脚步》中提到的一个重要观点是，全新的计算时代来临并不意味着人们不再需要直觉和创意。这点对于那重要的第一步──定义问题──尤其适用。“解决问题和决策的过程有一半是在于用富于创造性的方式定义问题 / 决策，从而让人们可以高效地解决它，”达文波特和 Kim 说。例如一位聪明的研究员卢俊翔（音）找到了一种方式来预测顾客对于电信业的终身价值。他很有创意地将问题重新定义为“生存分析”。这是一种生物统计技巧，用来决定某个生物群体中有多少能够存活超过一定的时间。

未解决的问题

当然，大数据和预测性分析为我们带来了一些难题。隐私就是其中的一个热点话题。2012 年，美国的Target 超市采用量化分析手法预测哪些顾客已经怀孕，从而引起了一场媒体风暴。（西格尔在《预测型分析》一书中讨论了这一事件。）此外，跟很多新工具一样，技术发展的速度往往超越了法律与政府管治。根据梅耶-勋伯格和库基的说法，“我们的社会已经发展出一套用来保护个人信息的规则。但在大数据的时代，这些法律条款基本上只是一条无用的马奇诺防线。”

另一个棘手的问题是如何为数据定价。在过去，企业花了很多心力去评估其品牌、专利、商业秘密以及其它知识财产的价值。现在我们也应该将数据纳入其中。但是，企业在 Facebook 上收获的那些“赞”究竟值多少钱？谷歌的搜索信息全部加起来值多少钱？此外，消费者是否有权共享这些价值？尤其是当信息被收集起来，以和原本目的不同的方式盈利的时候？

先抛开这些难题，有一件事情是肯定的：大数据和量化分析的时代刚刚开始。“将世界视为数据，视为数据的海洋，可以不断更深、更广地去探索它，这种思维方式让我们对现实有了全新的视角，”梅耶-勋伯格和库基写到。那些正在尝试把握这一新现实的公司很可能会在竞争中胜出──这，很可能就是预测型分析为我们画出的未来商业图景。

作者：林奥登（Alden M. Hayashi）   来源：http://techreviewchina.com/

最近“大数据”已经取代了“云技术”，成为了新技术的热门话题，各类“大数据”的书籍层出不穷，文章更是琳琅满目，仿佛你要是不和“大数据”扯上点关系，你就OUT了！笔者对这些文章也略有涉猎，但觉得挂着“大数据”虚名者多，而真知卓见者寡。为了让大家更容易理解大数据的内涵，我首先简单地介绍一下大数据的定义和背景。

麦肯锡的报告是这样定义的：大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合（Big data refers to datasets whose size is beyond the ability of typical database software tools to capture, store, manage, and analyze.）。

大数据这个概念又是怎么来的呢？2011 年5 月，EMC 举办了一次主题“云计算相遇大数据”的大会，首次抛出了“大数据”（Big Data）的概念；6 月，由EMC 赞助、IDC 编制的年度数字宇宙研究报告《从混沌中提取价值》 (Extracting Value from Chaos) 发布；紧接着，IBM、麦肯锡等众多国外机构发布“大数据”相关研究报告，予以积极跟进。

从背景我们可以看到EMC（全球最大的外置存储硬盘供应商）是推动“大数据”概念的主谋，他这么做当然是想多卖点硬盘，这种软广告式炒作不但没引起反感和吐槽，反而被社会各界认可与接收，也是跟其社会背景密不可分。近年数据产生成本急速下降、人类产生的数据量正在呈指数级增长，其中80%以上都是传统数据库无法处理的非结构化数据，这些数据到底有多大呢？根据IDC 的监测，全球在2010 年正式进入ZB 时代，预计到2020 年全球将总共拥有35ZB 的数据量，如果把35ZB 的数据全部刻录到容量为9GB 的光盘上，其叠加的高度相当于在地球与月球之间往返三次……在这么直观的比喻面前，任何语言都苍白无力了！

也许你会说大数据这种现象不用说，我们早就看出来了，不就是数据大么，能给我们的社会带来什么实质性的影响啊，或者我怎么没看到它的应用？关于大数据的应用，我在这里就不赘述了，市面上各种“大数据”的书已经谈了很多案例。我只想说：“剖析历史可以洞察未来。”几年前说“云技术”还很遥远的那些人却在将自己的文档、照片、视频上传至“iCloud”，使用着“搜狗云输入法”，登陆Dropbox、Yelp、Zynga等网站（这些网站正托管于亚马逊的“云平台”） ……那片飘在天上的“云”早已不是“触不可及”。

根据麦肯锡全球研究所的研究报告《Big data: The next frontier for innovation, competition, and productivity》，大数据将给医疗服务、公共管理、定位服务、零售和制造各个行业带来显著的应用价值，例如对美国的医疗服务业每年创造价值3000亿美元，约0.7%的年增长率，对美国制造业最高可下降50%的产品研发和装配成本。麦肯锡的这份报告详致地阐明了大数据对各行各业的利好，推荐大家阅读，我这里只谈大数据对客户服务领域的影响。

在云时代，淘宝推出了一种极具“云”特色的客户服务模式——云客服，云客服把社会上喜欢帮助人且有能力帮助人的淘宝人聚集在一起，使客服人员在家里或学校对客户提供远程服务，实现了“HO（Home Office，驻家办公）”，并充分利用了客服人员的零散时间，不仅降低了成本，还提高了效率。当然，这个“云”并不是真正意义上的云技术，只是一种概念和噱头，而在大数据时代，又将会给客户服务带来哪些商业价值呢？

我认为大数据将对客户服务带来一次变革，给客户服务带来极大的想象空间和无限的发展前景，甚至可以使客服部门从原来的成本中心（高成本、低价值）转型为利润中心（提升品牌价值、创造收入）。在这里我举三个例子跟大家进行探讨，展望客户服务的未来。

一、智能语音客服

目前通信运营商等在客服领域比较先进的企业已经实现了智能文字客服，通过文字识别技术和智能匹配算法对通过短信和网站文字客服提出的服务诉求智能匹配答案，不需人工判断。要实现智能语音客服，也要通过识别和匹配这两关。

我们先说说识别吧。早在Siri之前就已经有很多语音识别工具问世，最早的基于电子计算机的语音识别系统是由AT&T贝尔实验室开发的Audrey语音识别系统，它能够识别10个英文数字，现在AT&T的语音系统 Watson已经可以实现在线德语和英语的实时口译。以现在的技术，语音的识别依然比较困难，主要面临的难点有两个：

1．算法

算法是软件的核心，目前的语音识别算法使用的语言模型仍是一种概率模型，还未发展成以语言学为基础的文法模型；算法不突破，其效果就无法取得突飞猛进的进展。算法的优化不是一朝一夕的事情，需要逐步进行，尤其是语音这种非结构化数据（不便用数据库二维逻辑表来表现的数据），但随着大数据分析技术（用于非结构化数据的管理分析）的发展，也会对新算法开发带来福音，一些核心算法如特征提取、搜索算法和自适应算法也都在一步步改进，且随着数据源的不断丰富，算法的识别效果也越来越精准。

2．适应性

由于方言、语气、环境和音色等因素的影响，限制了语音识别算法的效果，这就需要语言识别系统具有一定的自适应性，不同口音、方言的识别都需要以一个庞大的语音数据库为基础，对这些非结构化数据的管理分析就更加指望大数据技术了。至于排除环境噪音、音色等因素，个人感觉要依赖半导体传感技术的进步，留待硬件领域的专家进一步探讨。

接下来就说到匹配了。目前匹配的算法已经相对成熟，也许和大数据技术没有直接联系，不过其准确性也有赖于数据源的丰富程度，同时要在不断产生的“交互数据”中动态调整匹配结果。

综上所诉，随着数据源越来越多、大数据技术的不断进步，语音识别系统也在持续完善之中，说到底，算法依然是核心，而数据则是基础，对于这类非结构化数据，也许传统的数据库技术Handle不住，但大数据技术却大有可为。相信不久，语音识别的技术的突破不仅可以实现智能语音客服，还将变革人与物之间的交互方式。

二、语音文本转换

因为这个功能的核心也是语音识别，所以大数据技术对转换准确度的保障支撑就不用再说了。之所以单列出来谈，是因为其对客户服务别有一番作用。

对于呼叫中心而言，客服人员与用户的通话都是要录音备份的，这些语音数据可真的不小，仅以广东移动为例，广东移动客服中心每年就要新增约60T的数据存储，这个体量对于一般的企业来说已经是“大数据”了。据悉这些数据是用磁带来保存的，而且这些要保存几十年不能销毁，想想到时候光这些磁带所占用的房间租金就是不少钱，更何况其他成本，而如果能将这些语音准确地转换成文本，文本存储所占用的空间就小得多（一个移动硬盘都可以存储一个图书馆的数据量了），存储成本直线下降，不仅实现了低成本高效，对自然环境也是一种利好。

有人会质疑这些录音是为了便于追溯留证，不是原始的录音记录，客户不认账怎么办？当然，我要声明不是所有录音都要转换成文本，对于客户投诉或办理业务的来电仍然保留录音记录，一则便于企业对客服人员的服务态度（说话语气还是要靠语言才能判断）和质量进行抽检，二则备份留证。而对于更多的咨询或查询类来电，通常不必留证。将这些语音转成文本之后不仅减少了存储空间，这些文本数据还可用于后续的信息挖掘，用来改进服务或发现商机，毕竟文本的信息分析要比语音的容易得多。

三、客户信息挖掘

在互联网时代，除了用户数、营业额等，数据已经被认为是未来的核心资源。我记得马云曾说过类似这样的话：“你知道全国哪个省份的女人胸围最大么？你知道哪个城市的男人最喜欢用什么牌子的衣服、香水么？你们都不知道，淘宝知道。”每年有多少企业关注《淘宝用户行为报告》，以图挖掘出一些数据来提升自己的销量，从这里，数据的价值可见一斑。

而客服部门作为企业前端的客户直接接触窗口，每天都可以从客户身上获取大量的信息，甚至可以在客户比较满意的时候主动获取一些爱好、职业等信息，积少成多，某些时候这些数据将为企业带来巨大价值。对客户信息挖掘的应用，我在此举两个简单的例子：比如通过数据的挖掘可以发现哪些用户是高尔夫球爱好者，进行精准营销，避免盲目营销导致的客户反感及投诉；再如随着定位技术成为手机标配，个人位置信息已经成了客户服务领域待被开采的金矿，国外运营商已经开始分析这些个人位置信息的数据并将洞察结果面向政企客户提供，这些位置信息可以为企业的实体店、营业厅选址提供依据。

当然，我个人也反对大数据把我们的个人隐私都记录下来并为他人所用，本文仅是从企业的角度谈谈大数据带来的影响，尤其在客户服务领域，我认为大数据带来的是无限的可能，更多的可能还有待各位去不断探索。

而数据分析也开始在营销的各个层面起作用，6/10的受访者表示大数据可以影响搜索，电子邮件或SMS营销项目，有一半的人则看到了数据分析在客户细分方面的作用。营销者对未来大数据在总体营销方面扮演的角色则非常看好。

新的技术要新的投放，但很多时候这些费用可能并没有被包括在预算里面。而营销者们面临的一大挑战就是新技术的投入问题。

要发挥大数据的作用，企业需要乐意支付，但面对尚不清晰的ROI问题，他们估计就犹豫了。

在数字广告领域，大数据和数据管理平台（DPMs）仍大有可为。DMPs让广告主可以使用他们的大数据来做出更灵活更有效的营销决策。

数据管理和分析是业界挑战

即便在品牌使用大数据来对他们的潜在和现有客户进行画像时，多数品牌会发现从数据中抽取跨渠道的洞察仍然极具挑战。

Ziff Davis发现49%的全球受访企业在2012年秋季已经实现了数据管理策略。又根据Robert Half Technology的数据，只有23%的美国CIO表示他们在收集诸如人口特征或购买习惯的数据。即便在这么小的比例中，只有46%的人拥有资源或系统来分析他们收集的数据。

大数据处理并不容易

通俗来讲，大数据可以是第一方的用户信息，第三方的受众数据，线下购买数据，网络广告行为数据，活动分析等。

从社会化媒体，活动分析，线下或第三方渠道这些零售的数据中整合是个不小的挑战。大数据解决方案提供商Infochimps调研北美的IT从业人员发现83%的受访者表示处理这些的信息是大数据最大的挑战，然后是管理信息（42%）和分析数据（41%）

图：北美IT业者最大的挑战：处理数据（83%），管理数据（42%），分析数据（41%）

DMP是理想的整合数据，分析数据，形成洞察的平台

如果数据是营销者的现金，那么DMP就是银行。大数据可以在这里存储并进行标准化，这样每一个数据表格都可以跟单个用户或受众细分联系起来。一旦进行了标准化，营销者可以利用这些信息来实现多重用途，包括在营销层面或整个公司层面。

DMP可以存储结构化和非结构化的海量数据，比如社交网络数据。这些数据进来后，DMP可以标准化并构建出更大和更详细的营销者可以使用的用户或受众数据。

DMP这种可以吸纳第一手，二手或第三方渠道数据，并将其组织成有价值的用户细分的能力使得其成为非常理想的受众定向工具。而这些功能也是美国营销业者评价DMP的关键指标。

图：DMP的核心能力：整合一手或第三方数据，细分，数字数据收集，受众分析，数据存储，数据的跨渠道转移，建模，传统和数字数据的整合能力

除了对用户数据的组织能力外，DMPs也是营销评估的首选工具，不管是数据还是跨平台。通过对用户的持续分析，广告主可以采取这些数据洞察运用到下一次营销活动中。

via：199it@eMarketer

在IT部门你已经会听到这样的说法，“如果你无法测量，那么你就无法管理。”这是很多数据中心管理员和网络架构师的口头禅。否则，你怎么知道谁消耗了什么资源以及这对WAN性能的影响呢?

与大多数高管一样，首席营销官(CMO)也被掩埋在各种统计数据中：同店销售额、库存数据、生产数据、CRM数据、交易数据、销量数据和促销活动数据等。面对如此多的数据，却没有数据能够告诉你，你的客户下一步会做什么或者他们为什么这样做。

单靠交易数据并不能帮助你改善客户体验，除非你把它与其他数据放在一起来研究。同样的，通过多个渠道收集的客户数据如果没有在后端绑定在一起，也都是无用的数据。

你需要将你所知道的关于客户和潜在客户的一切信息与新数据资源(从社交媒体到位置和天气数据)结合起来，你才能够更好地了解你的客户的需求以及制定你的营销策略。

使用大数据，获得竞争优势

Nationwide Insurance首席营销官Matt Jauchius表示：“收集消费者的大量数据(他们的消费习惯、喜好、与公司的互动)，然后分析这些数据，预测消费者的行为，这是CMO未来竞争优势的基础，因为这样你才能提供更好的体验。”

最近笔者购买新手机的遭遇证明了客户体验的重要性。在网上订购一台智能手机后，笔者发现原本“次日送达”的手机根本没有送来，随后，他打电话给客服，结果并不顺利。于是，他去了一家零售商店，花了45分钟来反复向一位销售代表诉说相同的信息，而这位销售代表还要去询问内勤人员，所有这一切努力都是为了拿到一台可用的智能手机，而原本笔者是准备买两台。

总之，笔者是费尽力气把他的钱塞给这个运营商。封闭式的产品渠道和数据集“扼杀了”交叉销售和向上销售的机会，并让客户服务代表无法解决问题，并且失去了促成其他交易的机会。

这个故事告诉我们：多渠道营销是很好的模式，但前提是你不会遇到一个渠道出现问题而试图通过另一个渠道解决问题的情况。

大数据技术(例如Hadoop)可以扁平化支持这些渠道的数据孤岛，然后将结果传到超快内存分析平台。这些系统可以实时通知呼叫中心代表，通过整合各个渠道的信息，来快速帮助客户解决问题。

了解你的目标受众

这只是CMO考虑大数据的一个方面。在大数据给营销带来的优势中，也许最大的优势是执行更有效的具有预测性和指定性的营销。

企业应该如何开始利用大数据取决于其使用情况、行业、可用数据等。在一般情况下，指定性营销结合了你对客户的纵向了解以及他们的广泛的行为模式。然后，你将这些信息与影响你的业务的更广泛的信息相结合，包括地理、人口、天气、社交活动或者任何其他帮助你更好地了解你的目标受众的信息。

这些模式将向你提供关于客户的更多的见解。

现在和过去的区别就是数据量和数据来源，也就是说，捕捉、存储和分析数据的能力已经发展到能够实现大数据的投资回报率。所有的日常数据都能够给企业带来很多向上销售和交叉销售的机会。

大多数营销部门已经在使用大数据，只是“掩埋”在他们的分析引擎或者客户体验管理系统中。现在，我们可以非常快速地进行查询，不要顾虑这是如何完成的，而应该顾虑你将利用它来做什么。

Vincent Granville这样定义大数据的诅咒（http://www.analyticbridge.com/profiles/blogs/the-curse-of-big-data）。简单来说，你会在大数据集中发现更多“统计上显著”的关系。“统计上显著”是一个统计检验，检验观测值是否具有某个不仅仅是巧合的规律，这个规律可能有也可能没有意义。数据集越大，越多的“统计上显著”的关系将会无意义—这将大大提高人们把噪音误解为信号的可能性。“信号”意味着根据科学对数据有意义的解读，并可能转化成科学证据和知识。“噪音”意味着对数据无科学依据的解读，不会被认作是科学证据。但噪音可能被操纵成为某种形式的知识（事实上是无稽之谈）。

所以大数据在数据中会产生更多关联和规律—然而也产生比信号更多的噪音。统计第二类错误（存伪）的数量大大增加。换句话说，更多非因果关系的相互关系导致了对真相的幻觉。

“相互关系”意味着一系列广义的统计联系。“虚假的相互关系”意味着不是由于两变量间的直接关系，而是其他变量对其影响而产生的关系。“因果关系”意味着有科学证据支持的原因和结果之间的关系（比如一个事件（原因）和另一个事件（结果）的关系，第二个事件被认为是第一个事件的结果）。“相互关系并不能推断出因果关系”是科学界和统计学界的一个术语，来强调两变量之间有相互关系并不一定能推断出一个导致了另一个。

但人们天生就擅长看到规律。这对人类在丛林里生存是必要的素质，但却损害了我们很多形式的抽象思维—特别是误将数据中的随机性理解为有意义。换句话说，将噪音误解为信号。

大数据使我们难以在大堆数据中发现有操作性的、有价值的见解。它的危险是，我们将越来越多的错将数据中的随机性当作信号，从而做出错误的决策。

我有一个策略来解决“大数据的诅咒”这一问题—在很多情形下（但不是所有），有意的将大数据集分解为若干小数据集。将大数据集分解为小数据集应该有技巧的进行，而不是随意而为。分析和测试小数据集来区分信号和噪音并提取意义要比直接分析大数据容易得多。

时刻注意大数据的诅咒，避免错将噪音当成信号。小数据实际上也很美丽。

See: http://bit.ly/10TgVHG

Via 张怿檬大柠檬 199it编译

随着消费者在数字频道上的信息分享比以往越来越多,这就让营销者的信息数据获取越来越丰富，然而他们对市场的洞察力却相对薄弱。一份来自在DMA2012和福雷斯特研究公司电子商务会议上对700名与会者的调查报告，展现了营销人员在2013年将如何处理大数据问题的计划。

2013年，68%的营销人员会计划增加数据支出预算，56%的公司会计划招聘有关数据职位的新的雇员。另外45%的人认为数据分析及应用将是他们最大的挑战，而将开始考虑使用实时数据的营销人员达到了83%。

以下是在这次调查结果中列出的2013年营销人员对大数据信息的处理问题：

1，2013年，你希望如何规划有关数据营销的开支？

48%的营销人员希望有关数据营销的开支能有所增加，23%的人则认为应保持不变，希望预算能大幅增加的占到20%,而6%的人表示还没确切预算，2%的人认为可能会略微减少数据营销的支出，同时认为应大幅减少数据开支预算的营销人员占到了1%。

2，你会计划招聘新的人员进行数据处理、数据搜集或数据分析吗？

调查结果显示，44%的人不考虑，20%的人会考虑招聘数据分析或数据战略的相关人员。11%的公司对开发人员或程序设计师有需求,除此之外，需要招聘数据搜集人员的公司为7%，而对数据管理人员，数据资深人员，数据专员的有招牌需求的公司分别为7%，6%，5%.

3，2013年，营销人员对数据使用面临最大的挑战是什么？

在该项调查中，25%的人认为是数据分析，而认为是数据应用的占20%。 13%的认为数据整理，而12%的人认为保护用户隐私信息才是最大的挑战，其他8%的人则表示是招牌数据研究方面的资深人才。

4，2013年在你的市场营销活动中，你计划如何使用实时数据？

认为会广泛使用实时数据的占53%，准备考虑使用的占19%,而第一次使用和不计划使用的均为11%,4%的营销人员不知道如何应用，表示不会广泛使用的占到2%。

5，2013年你会在其它频道使用用户的社交数据去驱动营销活动吗？

78%的受访者表示会计划广泛使用用户的社交媒体数据，剩下22%的营销人员将不考虑整合用户的社交数据。

6，2013年你会计划采取保护用户隐私数据的措施吗？

调查结果显示，60%的受访者表示保护用户隐私数据将是他们的首要任务，另外40%的人则认为这不是他们的首要任务或者还没在他们的考虑范围之内。

199it分析：@Classicrivera 

例如，东日本旅客铁道（JR东日本）集团在车站里设置了内置摄像机的触屏式自动售货机，识别顾客的性别和年龄等，在屏幕上显示推荐商品，扩大了销售额。这套系统除了顾客的属性之外，还按照天气、气温和时间分别积累了商品的销售额记录，建立了预测消费者行为方式的模型。此外，NTT docomo把手机位置信息和互联网上的信息结合起来，为顾客提供附近的餐饮店信息，接近末班车时间时，提供末班车信息服务。

◆◆◆

美国的谷歌和美国的脸书等也采取了从互联网上的庞大信息中获取经济价值的做法，不过，仅依靠这些网上数据的商业模式，其经济价值取决于数据的规模，因此会出现一家公司独占经济价值的赢家通吃（Winner Take All）倾向。然而在大数据的层面，JR东日本集团的自动售货机的摄像机和NTT docomo的手机（全球定位系统=GPS=功能）等起到了传感器的作用，可以增添有关每个人的行为的详细信息。不同种类的数据可以用于各种各样的服务，如果再包括每个数据的第二次利用，就可以构建多种多样的经济收益模式，因此可用于商业的范围非常广阔。

电子货币卡、平板电脑（tablet：多功能便携式终端）、可连接网络的汽车、智能电表和煤气表（新一代供电计量器）等许多器具都可以作为传感器发挥功能，对由此获取的大数据加以利用的商业模式不断扩展。日本是利用上网本电脑和电子货币较普及的IT（信息技术）大国，所以在大数据的利用模式方面也可以领导世界潮流。

由于大数据时代的到来，日本企业的IT战略也会发生巨大变化。经济产业研究所2007年实施的“关于IT战略的国际比较问卷调查”显示，日本企业的IT战略主要关注的是削减成本和提高业务效率等经营合理化方面，与以开拓新业务和获得顾客为目的的美国企业大相径庭。

企业的IT系统分为两类，一类是“基干类系统”，用来提高人事、财会处理、接发订单等日常业务的效率；另一类是“信息类系统”，用于支持经营战略、开展市场分析、开拓客户等，日本企业对IT投资的重点在于前者。

由于设置专门负责信息的首席信息官（CIO）的日本企业较少，因此，IT系统的问题大多不是经营会议上的议题，而是作为业务合理化的工具。而且，与美国企业相比，日本企业的经营决策者级别的人对IT的理解不深，很多人对于在经营决策时使用数据分析持怀疑态度。虽然有一部分大企业在全球范围统一了公司内部的IT系统，旨在把IT和经营结合起来，但是目前还很难说日美两国企业的差距已经消失。

◆◆◆

不过，由于日本企业利用大数据的趋势在扩大，对数据分析抱持怀疑的想法今后很可能会逐渐消失。关于利用大数据的目的，在问卷调查中，比例最高的回答是“业务战略决策”和“提高顾客服务水平”（参见下图）。

图：日本企业利用大数据的目的

目前利用大数据的状况，主要是像JR东日本集团和NTT docomo那样，以加强现有服务为目的，距离企业整体的经营战略还很遥远。但是大数据在开展业务方面，可以成为强有力的工具，形成与其他公司的差异化，强化自己公司的竞争力。当数据的价值以对业务做出贡献的形式表现出来时，我们可以期待经营决策者对信息系统加深理解，增加对已经落后的IT“攻势”战略的投资，强化企业的竞争力。

那么，要想使大数据为发展日本经济、提高国民生活水平做出贡献，需要哪些策略呢？笔者担任主持人的信息处理推进机构（IPA）的“思考作为生活与经济基础的IT研究会”对此提出了建议，归纳为“信赖基础”和“价值创造”两大支柱。

“信赖基础”就是慎重严谨处理个人信息，形成国民能够放心提供个人数据的社会结构。大数据除了识别顾客的性别和年龄等个人属性外，还可以获得顾客的行为特点等详细的信息，有利于企业一方开展业务。

但是，对于提供该信息的个人来说，这些属于个人隐私，不希望公开，可以说信息是一把锋利的双刃剑。例如，JR东日本集团在提供服务时采取了对策，在自动售货机屏幕上告知顾客正在摄影，而且只留下性别和年龄等信息，消除摄影图像。企业一方应采取慎重严谨的措施。

隐私权是拥有信息的个人权利，所以是否受到侵害的判断依据当事人的主观认识。也就是说，即便使用同一信息，有无侵害隐私权因当事人的主观而异。

最近，利用推特和脸书等交流网站（SNS）的人不断增加，根据日本隐私认证机构的调查结果，虽然利用SNS的人对提供个人信息的心理成本有所降低，但是不利用SNS的人却正相反，心理成本出现上升。关于大数据的隐私权指针认为，不应以提供信息心理成本高的人为标准制定严格的限制，而应建立灵活的业务模型。例如，可以考虑根据个人信息的水平，SNS用户可以有选择性地提供信息的业务模型。

◆◆◆

关于“价值创造”，首先，为了从大数据中制作商务模型，需要培养把IT和经营结合起来的人才。在IT部门，不仅需要建立和维修公司内部系统的人才，而且需要通过数据分析支援制定事业战略，以及设计全公司数据库基础的人才。另一方面，在业务部门，需要具有提高对最新IT的理解程度，建立以大数据为基础的业务模型的能力。

其次，建立健全整个国家利用大数据的环境非常重要。日本电子政府的主要着眼点在于行政手续的电子化，但是美国更进一步推进了向民间开放行政数据的“开放型治理”。日本也应该超越中央政府机关之间的纵向藩篱，提高顾客（国民）服务质量。此外，还应探讨如何通过数据匿名化技术和制作详细的统计数据，使民间数据的二次利用成为可能。

笔者期待官民开展建设性的讨论，使全体国民加深对大数据价值的认识，搞活经济整体，让国民过上安心富庶的生活。

阿施什·图苏尔（Ashish Thusoo）非常了解“大数据”（Big Data）。他在2007年加入Facebook，当时该公司只有5,000万用户。他离开公司的时候，该数字已经达到约8亿。在此期间，他管理Facebook的内部数据分析团队。
Facebook的分析团队管理这些数据及其分析，从而用于广告定位、客户增长以及提高用户参与度。现在图苏尔拥有一家新公司Qubole，该公司现在正打造云计算的“大数据”平台。
图苏尔的各项心得其实有一个统一的主题，那就是数据的民主化。对此，他的意思是向组织内所有用户开放数据分析，无论是数据科学家、产品工程师还是商业分析师。
1. 新技术已经将对话从“储存什么数据”向“掌握更多数据后我们可以怎么做”转变。 Hadoop和Hive等开源技术具有相对较低的成本，从而帮助收集更多重要的测量指标。在Facebook和其他互联网网站方面，这意味着收集更多有关用户活动和行为的数据。
成本降低也让更多历史数据被存储在网络上。图苏尔表示：“结果是，我们将获得由数据驱动的、更好的应用程序。至少在数据世界，相比对数量较少的数据采用复杂的算法，对数量较多的数据采用简单的算法似乎产生更好的结果，当然其中也有部分例外。”
2. 为终端用户简化数据分析。 换言之，图苏尔在Facebook认识到，为科学家、分析师和工程师等数据用户民主化数据可以产生很强的威力。
他的目标是，让所有与数据相关的功能简化，从执行应用程序和收集数据，到理解和分析这些数据，到创造由数据驱动的应用程序。
“打造熟悉的界面”和数据处理工具是提高Facebook内部使用Hadoop和Hive等基础技术的关键。
3. 用户数量增加意味着数据分析系统需要更加强劲。 在Facebook的数据科学家、分析师和数据工程师中民主化数据，这个想法提高了该要求的难度。
为了实现这个想法，图苏尔的团队不得不设计特定功能来处理写得比较糟糕的查询语句，从而防止这些查询语句使系统崩溃。他们必须建立包括使用监测和限制在内的多种机制以使资源公平共享。
“我们拥有多种不同的用户，从商业分析师到产品工程师，他们对基础设施和如何最好地利用数据有很多不同层次的理解。”
4. 为“大数据”服务的社交网络。 “我们进行了投资，以使我们的工具越来越具有协作性，从而让用户可以相互间共享分析，并通过与某套数据的专家用户连接，从而发现数据。”
随着Facebook实现超高速增长以及数据一直发生变化，协作的方法比围绕元数据创造知识库更有用。
5. 没有任何单一的基础设施可以解决所有的“大数据”问题。 在实时报告方面，由于我们发现通过系统间协作可以比Hadoop更好地解决用例，因而图苏尔的团队进行了大量投资。在实时报告方面，我们的团队投资打造了数据分析软件Puma。有很多关于图解分析以及对大型数据集的低延迟数据检查的例子，在这些例子里他们都必须打造或者投资新技术。
6. 开发软件是困难的，但是运行一套服务却是更加困难。 图苏尔的团队必须进行大量工作以确保服务可以使用。他们投资大量时间和能源打造“那些可以测量使用情况、指出瓶颈和为我们的用户量化他们使用情况的系统”。他们不得不打造特定的功能，从而监测和交付达到一致认可水平的服务。
25年前，福布斯开始对全球亿万富豪进行权威性的追踪。我们制作的首个榜单囊括了140位财富数量达十位数的富豪（其中24人至今仍在榜单之列）。时至今日，这个俱乐部已经壮大了不少。今年，我们统计得到资产过10亿美元的富豪达1,226位，创下历史最高纪录。而这一年的主旋律就是动荡……
尽管中国炙热的经济在今年有所降温，股市也剧烈震荡，但中国的造富运动还在继续。根据《福布斯》亚洲版最新出炉的2011中国富豪排行榜，中国的亿万富豪人数达到了前所未有的146人，较2010年增加18人之多。今年上榜的400位大陆富豪的财富达到4,590亿美元，较上年的4,232亿美元增长8%，但若以人民币计算，增幅则只有4%……
有些人白手起家打造出10亿美元的个人财富。而有些人则因出身豪门而获得巨额财富。遗产继承人在福布斯美国400富豪榜中所占的百分比已经缩减，在今年榜单中仅占30％，但这一群体拥有大量的血缘亲属。18个豪门家族中有多名成员登上……

IBM的Netezza@Factor就是这样一款产品，它能够实现高性能的数据流分析，迅速实现价值，同时解放思想，引发创新思维。IBM利用一系列的数据以及产品创造的后续效果为内容，制作而成的信息图，在巧妙推销其产品的同时，告诉我们大数据时代的到来将为商业创造的无数潜在机会可能。

来自：DamnDigital

经过进一步分析后，威名百货发现，原来美国妇女通常会在星期五请先生下班后替孩子买个尿布再回家，而先生在买尿布之余也想顺手买自己晚上要喝的啤酒，这样的消费习性已经成为常态。 威名百货发现这件事后，就改变了货架的摆放位置，把啤酒和尿布摆在一起，甚至把比较贵的尿布放在啤酒旁边（很多男人不看尿布的价钱），成功增加了这两项商品的销售金额。

威名百货的「尿布与啤酒」是从资料中找出商机的经典案例，但当年智慧型手机还不普及、宽频网路也不够发达，更没有Facebook社交网路传递各种讯息??，现在科技环境的改变，让全球资料量在十年间就增加了60倍以上。 此外，「凡走过必留下痕迹」，透过数位化的工具，过去难以被描述的各种行为，全都找得到纪录，这背后蕴藏的是难以估算、还未被发掘的商机。

启动创新：从纪录中找线索

爆炸性的资料成长究竟有多惊人？ 来看一个数据：2011年全球产生与复制的资料达到1.8ZB（zetabytes）。 「ZB」是目前资料储存最大单位，1.8ZB约等于1.8兆GB，如果把这些资料量全都装在32GB版本的iPad里，这些iPad可以堆出一座比富士山高25倍的山，或是建造一道高6.1公尺的围墙，足以环绕整个南美洲。

储存业者EMC和研究机构IDC共同发表的报告指出，未来十年，企业将管理50倍以上的资料量，成长速度甚至超越摩尔定律。 「海量资料席卷而来，从资料中找出企业创新策略，是目前最重要的趋势，重要性丝毫不输行动和云端！」商业分析软体大厂思爱普（SAP）执行长孟鼎铭（Bill McDermott ）说。

「如何把矿（资料）炼成钢铁（智慧）是现在开始最严峻的挑战，」中国宽带资本董事长田溯宁认为，把资料集中处里后，能得到的是智慧，这已经不只是科技层次问题，而是经营决策问题。

田溯宁认为，未来的世界软、硬体都不赚钱了，资料才是最宝贵的资产。 的确，从资料中能发展出的商机无限，例如电信业者透过数以千万计的客户资料，能分析出多种使用者行为和趋势，卖给需要的企业，这是全新的资料经济。

从大资料中找出商机的观念在台湾还未成明显趋势，但欧美国家，甚至中国，却已经是众所瞩目的议题。 去年底，SAP在北京举办中国商业同略会，探讨企业如何从资料中获得商机，现场真正是「万头钻动」，共有万人与会，包括联想、海尔集团、农夫山泉都派出高层，在会中分享处理资料的秘诀。

海尔集团是中国企业力图转型的例子，过去由高层拟定策略、第一线负责执行，「但渐渐发现这不见得符合消费者需求，」海尔集团执行长张瑞敏说。 现在海尔以量化数据做为企业基础，先透过资料分析了解客户，才拟定产品策略，透过第一线搜集来的资料，可以很清楚知道市场上的需求变化。

转型思维：以客户为中心

以往企业为了库存拟定生产、销售策略，最后导致价格战，「现在则是先想销售才生产，应该要以用户为中心，为了客户销售才对，」张瑞敏说，研发人员已经不是研发产品，而是研发市场，「这就是商业智慧分析带来的企业转型新思维！」

事实上，从大资料采到金矿的案例一直围绕在你我身边，欧洲流行服饰品牌Zara就是一个例子。 Zara成功打下市场口碑的关键在于「快速时尚」，一周就能上架两次新品，每个款式一开始量都不多，经过第一波销售分析后，再针对受欢迎款式追加数量，以客户需求为导向的生产策略，就是Zara成功的关键。

台湾最成功的零售业者7-Eleven，也是将前台收银机POS及各种情报汇整分析，进而不断提出创新方案的代表性企业。 另外，中国最大的淘宝网有一组团队就专门分析网友来访的点击途径，了解网友往往会在哪些节点上，决定下手购买或决定离开购物网页，进而优化网站的使用者介面。

PS：文章开头的案例，刚好在上周六在香港大学思培论坛上听一位教授讲过，大数据时代，让精准不在是浮云，不过关于用户隐私问题也让一部分用户当心，比如论坛上那位教授提的一个案例，超市通过分析一位女顾客的购物数据，给该顾客寄来了孕婴童试用品，但这一举动这位女顾客的父亲非常生气，立马致电该超市，因为她女儿还未成年！超市经理立马登门拜访道歉，不过在事实上这为小女孩真的怀孕了。从这个案例中，我们可以发现大数据的应用真的非常牛逼！！

本文来源：数位时代

via：alibuybuy

Hadoop网站

下面介绍的这些初创公司就可以为Hadoop这样的平台提供帮助。这5家公司或者处于“隐秘模式”（stealth mode，在商业中是指公司处于暂时的保密状态，通常是为了避免竞争），或者刚刚结束隐秘模式。

1 BloomReach

BloomReach认处于隐秘模式

处于隐秘模式的BloomReach是一个非常有针对性、非常方便的大数据解决方案。它提供一个“软件即服务”（SaaS）产品，帮助领先的在线公司发现其顾客正在寻找的最高质量，最相关的内容。公司创业团队的成员来自谷歌、思科、 Facebook和雅虎等公司。据估计BloomReach目前约有160家客户，全部都是大型网站，其中大部分来自零售业。BloomReach的核心技术和方法包括Hadoop、Lucene、Monte Carlo simulations（蒙特卡罗方法，又称随机抽样或统计试验方法）和大型图像处理。

2 Continuuity

Continuuity处于隐秘模式

刚刚推出的Continuuity目前处于隐秘模式，其创始人是前雅虎副总裁兼首席云构架师托德·帕帕约安努（Todd Papaioannou）。他希望让开发人员能够更容易地构建可以利用云计算和大数据技术的应用程序。帕帕约安努最近表示，大多数开发人员不应该再走一遍雅虎、Facebook和其他公司走过的老路来编写数据驱动的大型应用程序。他还表示，“智能数据结构（data fabric）是未来的中间件”。该公司的名字来自于“continuum”，意为“连续统一体”。

3 Odiago

Odiago旨在改善网络分析，是Hadoop和分析专家克里斯托夫·比希利亚（Christophe Bisciglia）以及亚伦·金贝尔（Aaron Kimball）的心血结晶。它的第一个产品Wibidata目前正在进行私测。Wibidata能让网站更好地分析用户数据，创建更加具有针对性的功能。它建立在Hadoop和Hbase之上，但也会利用公司现有的数据管理和商业智能工具。目前该产品的客户有维基百科、RichRelevance、FoneDoktor和Atlassian等。

4 Platfora

Platfora于去年9月推出，曾融资570万美元。Platfora希望让大数据分析技术变得更加亲民。其创始人兼首席执行官本·维特（Ben Werther）以前曾在Greenplum和NoSQL初创公司DataStax公司，他在Platfora推出时曾表示，Platfora的界面非常直观，视觉效果极好，这让基于Hadoop的分析变得非常容易，甚至学历史专业的人也可以使用它。 Platfora的产品尚未推出，但该公司目前正在聘请前端和用户体验方面的专业人才。

5 SkyTree

Skytree是可能是这5家公司中最为隐秘的一家，但它也非常地雄心勃勃——它希望让主流公司能够利用出色的机器学习技术。机器学习是一种令人印象深刻的技术，它让系统本身变得更聪明，因为它可以消化更多的数据，但目前这种技术一般只存在于研究所或顶尖的分析团队中。 Skytree的团队非常出色，其联合创始人亚历山大·格雷（Alexander Gray）在乔治亚理工学院教机器学习课程，他曾在美国航空航天局（NASA）的喷气推进实验室工作了6年。 该公司将在本季度晚些时候正式推出。

via：tech.qq.com