数据智能 – 庄闲棋牌官网官方版 -199IT //www.otias-ub.com 发现数据的价值-199IT Thu, 13 Mar 2025 12:13:00 +0000 zh-CN hourly 1 https://wordpress.org/?v=5.4.2 Canalys:2024年中国大陆PC全年出货量为3970万台 同比下降4% //www.otias-ub.com/archives/1745209.html Thu, 13 Mar 2025 12:13:00 +0000 //www.otias-ub.com/?p=1745209 近日消息,Canalys数据显示,2024年中国大陆PC全年出货量3970万台,下降了4%。

不过AI PC出货量在2024年稳步增长,达到580万台,占去年中国大陆PC总出货量的15%。

2024年第四季度中国大陆的PC出货量达到860万台,其中AI PC占比高达20%。2023年第四季度这一份额还只有7%,一年份额暴增2倍。

Canalys预测,这一趋势将加速,到2025年,预计大中华区PC出货量中,AI PC将占34%。2026年将超过半数,2027年将超6成,2028年将超7成。

Canalys分析师徐颖表示:随着AI模型越来越高效,以及包括AI助手和代理在内的生态系统逐渐成熟,那些先行一步开发AI代理和平台的厂商将在抢占市场份额方面具有先发优势。

随着中国大陆独特的AI生态系统快速发展,厂商必须做好准备,与中国创新者深度合作,以适应潮流并抓住新兴机遇。

自 快科技
]]>
哈佛大学:生成式AI使美国工人生产率提高33% //www.otias-ub.com/archives/1743386.html Fri, 28 Feb 2025 12:25:45 +0000 //www.otias-ub.com/?p=1743386 圣路易斯联储、范德比尔特大学和哈佛大学联合开展的一项研究显示,美国工人们报告说,通过使用生成式 人工智能,节省了大量的工作时间。该论文发现:“使用生成式人工智能后,工人平均每小时的生产率提高了33%。”研究人员根据他们认为的第一次具有美国全国代表性的生成式人工智能采用调查,通过工人使用该技术的程度和强度来衡量生成式人工智能对工作效率的影响。他们发现用户节省了大量的时间。在上周使用生成式人工智能的受访者中,21%的人表示这一周为他们节省了4小时或更多时间,20%的人表示节省了3小时,26%的人表示节省了2小时,33%的人表示节省了1小时或更少时间。

 

更频繁使用的用户表示节省了更多的时间,这表明应用这项技术需要一段学习时间。在前一周每天都使用生成式人工智能的员工中,34%的人说这为他们节省了四个小时或更多的时间,而在那一周只使用一天的人中,有12%的人这样认为。

圣路易斯联储的亚历山大•比克(Alexander Bick)、范德比尔特大学的亚当•布兰丁(Adam Blandin)和哈佛大学的戴维•戴明(David Deming)发现,如果一个人使用人工智能,每周工作40小时,通常会节省2.2小时。当非人工智能用户加入到混合中时,由于生成人工智能,所有调查参与者节省的总时间为总时间的1.4%。

研究表明,节省时间与某些职业高度相关。信息服务工作者使用生成式人工智能的工作时间最多(14%),节省的时间最多(2.6%)。报告显示,休闲、住宿和其他服务使用生成式 人工智能的工作时间比例最低(2.3%),节省的时间最低(0.6%)。

随着美国人口老龄化和对联邦预算赤字的担忧日益加剧,生产率增长被视为推动实际工资增长、企业利润和政府税收的关键。不过,报告称,人工智能的广泛使用是最近才出现的现象,它对整体生产率提高的最终影响仍不确定。

自 智通财经
]]>
阿里云:2025年PolarDB数据库以20.55亿tpmC性能刷新TPC-C全球双榜纪录 //www.otias-ub.com/archives/1742731.html Wed, 26 Feb 2025 13:32:05 +0000 //www.otias-ub.com/?p=1742731 近日消息,阿里云宣布,阿里云PolarDB云原生数据库登顶全球数据库性能及性价比排行榜,以每分钟20.55亿笔交易(tpmC)和单位成本0.8元人民币(price/tpmC)的成绩成功刷新TPC-C性能和性价比双榜的世界纪录。据介绍,本次打榜中,阿里云PolarDB云原生数据库以20.55亿tpmC的性能成绩一举夺魁,且成本相比原纪录降低了近40%。

在测试的8小时期间,PolarDB完成了2.2万亿次数据操作,tpmC波动率仅为0.16%,保障了100%的数据正确性,这同时也体现了PolarDBLimitless超大集群的性能稳定性。

这一新纪录模拟了16亿用户同时上线进行交易,其处理能力相当于天猫2020双11订单峰值场景的59倍,成功扛起全球最大流量洪峰。

阿里云智能集团副总裁、数据库产品事业部负责人李飞飞在2025阿里云PolarDB开发者大会上表示:“PolarDB登顶TPC-C排行榜,不仅是阿里云自身技术实力的证明,更说明国产数据库在性能和性价比方面均已达到全球领先水平。”

据了解,TPC-C是由TPC组织制定的针对衡量在线事务处理(OLTP)系统性能的基准测试,被誉为数据库领域的“奥林匹克”,是全球最具公信力的测试标准,也是商业数据库证明自身实力的硬性门槛之一。

该基准测试会考察关系型数据库系统的全链路能力,包括2大衡量标准:性能(tpmC)和性价比(price/tpmC)。

TPC-C测试由一系列严苛的基准测试模型组成,是一场长达40小时的数据库性能“极限挑战”赛,测试过程包括全压力测试、故障容灾测试、数据库ACI测试。

自 快科技
]]>
The Information:2024年人工智能领域应用开发商估值倍数上升 基础模型公司倍数下降 //www.otias-ub.com/archives/1742740.html Wed, 26 Feb 2025 13:31:59 +0000 //www.otias-ub.com/?p=1742740 尽管 Open AI 和 Anthropic 的收入倍数在过去一年中下降,但 AI 应用开发者如 Perplexity 和 Writer 的收入倍数却上升,分析显示了十几家 AI 初创公司的估值和收入增长情况。

图片来源:theinformation

你不必远行就能找到 人工智能初创公司获得高估值的例子,因为一些正在进行的机器人交易和由 OpenAI 校友创办的初创公司已经显示出这一点。但这些例子掩盖了投资者对人工智能初创公司估值方式的变化。

基础模型的最大开发者,如 OpenAI 和 Anthropic,基于其年化收入的估值,现在比一年前便宜。这是公司随着时间的推移而变老、其收入追赶投资者的高预期时的典型现象。较不寻常的是,一些 AI 初创公司在收入上升的同时仍保持高倍数。

专注于为消费者和企业开发应用程序的初创公司,与一年前相比,仍然保持相对较高的收入倍数。对于一些初创公司,例如 AI 搜索引擎 Perplexity 和生成式 AI 工具制造商 Writer,倍数甚至有所上升。

投资者表示,他们愿意如此高估 AI 应用的价值,因为其收入增长远快于前十年的软件应用。这些投资者表示,企业在 AI 上的支出增加,因为他们发现这些软件可以提高员工的生产力并降低成本。

“人工智能公司正在经历前所未有的巨大增长。这就是为什么人们预测这些增长率并以此为基础进行估值的原因,”Sapphire Ventures 的总裁兼合伙人 Jai Das 说道,该公司已投资于商业搜索聊天机器人 Glean 和 Perplexity。

例如,Perplexity 在 1 月份的年度经常性收入超过了 8000 万美元——这是其未来 12 个月订阅的价值,来自一位对其财务状况有直接了解的人士。这比 11 月份的 5000 万美元的速度高出 60%,当时它以 85 亿美元的估值筹集资金,导致惊人的收入倍数为 170。去年 3 月,它的收入倍数约为 63。

这家成立三年的公司销售基于 人工智能的搜索引擎订阅,并已扩展到广告等其他业务,并通过应用程序编程接口为开发者提供模型访问。

很难全面了解  AI 初创公司的估值,因为这些公司的财务数据受到严格保护。但从《信息》对过去六个月筹集资金的十多家 AI 初创公司的报道中收集到的数据,可以让人感受到投资者如何评估它们。

为了保持一致性,《信息》使用了投资前的估值,尽管风险投资家通常也会考虑这些投资后的估值,或包括新资本的估值。

在人工智能应用中,投资者给予年轻初创公司最高的倍数,这些公司针对某个行业的客户——比如医疗或法律。投资者表示,通过在敏感的专有数据上训练模型,使其专门针对这些行业,可能会为这些初创公司带来竞争优势。

例如,Abridge 是一家成立六年的初创公司,利用 AI 转录医生与患者的对话,联合创始人兼首席执行官 Shiv Rao 表示,该公司调整其他公司的 AI 模型,以识别医学术语,并根据讨论的医疗问题在患者与医生的对话中指出重要细节。

去年秋天,投资者通过将 Abridge 的估值定为 25 亿美元——是其 5000 万美元年经常性收入的 50 倍——来奖励这些努力,投资额为 2.5 亿美元。

并非所有 AI 应用的收入倍数都高于之前的轮次。

例如,三岁大的法律 AI 初创公司 Harvey 在今年早些时候获得了 27 亿美元的估值,投资前的估值约为其在 12 月达到的 5000 万美元年经常性收入的 54 倍。就在一年前,投资者将该初创公司的估值定为 6.35 亿美元,或当时年经常性收入的 64 倍。

去年秋天,Glean 在投资前以 43 亿美元的估值筹集资金,相当于当时 1 亿美元年经常性收入的 43 倍。当它在 2023 年底以 20 亿美元的估值筹集资金时,投资者将其估值为 3000 万美元年经常性收入的 67 倍。

与此同时,随着收入激增,最大的 人工智能公司的收入倍数也下降了。Anthropic 正在完成一轮融资,预计这家聊天机器人 Claude 的制造商在投资前的估值为 580 亿美元。

根据一位了解其财务状况的人士,这相当于其年化收入 10 亿美元的约 58 倍。就在一年前,这家位于旧金山的公司估值约为其年化收入 1 亿美元的 150 倍。

Open AI 的收入倍数也有所下降,但幅度较小。其最新的融资将其估值定为 2600 亿美元,投资前的估值为其预计年化收入 60 亿美元的 43 倍。一年前,一项将其估值为 860 亿美元的二次发行相当于其年化收入的 54 倍。

本文翻译自:theinformation

自 Z Potentials
]]>
40亿美元投资Anthropic 亚马逊云科技夯实生成式AI三层架构 //www.otias-ub.com/archives/1685289.html Wed, 17 Apr 2024 02:22:13 +0000 //www.otias-ub.com/?p=1685289 毋庸置疑,在追加投资27.5亿美元之后,亚马逊云科技完成了对Anthropic总共40亿美元投资,拿到了生成式AI领域的全球顶级船票。这也是2024年生成式AI的关键性事件之一。

在近期的2024亚马逊云科技生成式AI媒体沟通会,亚马逊云科技大中华区产品部总经理陈晓建介绍了亚马逊云科技在生成式AI领域的最新进展。相关的进度。陈晓建表示,亚马逊云科技与Anthropic的合作是非常紧密,Anthropic推出下一代模型Claude3的时候,第一时间在Amazon Bedrock平台上完成了发布。同时,Anthropic做出长期承诺,将通过Amazon Bedrock为世界各地的亚马逊云科技的客户提供访问其下一代基础模型的能力。

没有一个基础模型能适用所有业务场景

亚马逊云科技在生成式AI领域为客户提供了三层架构。

最底层,亚马逊云科技为客户提供了基础算力,包括英伟达最新推出的G200芯片,亚马逊自研芯片Amazon Trainium、Amazon Inferentia以及用于训练和推理的平台Amazon Sagemaker。

中间层,以Amazon Bedrock为代表,通过一个模型平台支持多种技术大模型。Amazon Bedrock提供各种领先的基础模型供客户选择:既有知名的开源模型,如Stable Diffusion XL、Llama、Mistral 7B和Mixtral 8*7B,也有如Anthropic Claude 3、AI21labs Jurassic、Cohere Command、Amazon Titan等非开源模型。

最上层,应用GenAI技术的开箱即用的云服务。例如Amazon Q,可以与、Amazon QuickSight、Amazon Connect、Amazon CodeWhisperer等应用都实现了非常有效地结合。

与Anthropic在生成式AI领域进行广泛的深度合作

Anthropic在Amazon Bedrock上提供的Claude 3系列模型是全球最领先的大模型之一,共包含三个模型:具有几乎即时响应能力且最紧凑的 Claude 3 Haiku;在技能与速度之间达到理想平衡的 Claude 3 Sonnet;以及为处理高度复杂任务设计的最智能模型 Claude 3 Opus。客户可以根据自己的商业需求,从中选择最合适的智能、速度和价格组合。

Claude 3的能力已经非常突出,包括四个方面:

1.Claude 3创造模型智能水平的新纪录——在数学问题、编程练习和科学推理等标准评估中超越了所有现有模型。客户可以借助AI驱动的响应,自动化完成任务并保证高准确率,特别是Claude 3 Opus,它不仅在大多数常见的AI系统评估基准测试中表现优异并且在复杂任务中表现出优秀的理解能力和流畅性,走在通用智能的最前沿。

2.Claude 3现已具备多模态能力——Claude 3可以接收基于图像的输入,能力与其他前沿模型大致相同,并且延迟低于其他多模态模型(尤其是Claude 3 Haiku)。

3.Claude 3能够降低幻觉,提升回答准确率——在处理挑战性开放问题(100Q Hard)上准确性明显提升,并且减少错误答案。

4.Claude 3系列模型均提供200K 超长上下文准确召回,针对某些特殊场景,会开放支持 1M token的上下文窗口;大海捞针(Needle In A Haystack, NIAH) 召回率表现优异;甚至还能识别出测试本身的局限,比如发现某“目标”句子明显是后来人为添加进原始文本的。

Claude 3应用场景包括内容续写、代码辅助、电商商品描述撰写、长文本知识召回总结等。

在活动现场互动时,Claude 3对于随机提出的相对论问题及中国古代丹法流派伍柳派相关问题均快速得出逻辑清晰的答案。

亚马逊云科技如何平衡模型能力和客户成本

亚马逊云科技之所以推出Amazon Bedrock这样的产品,是因为它为客户提供了丰富的选择,客户可以在自己的应用场景下,选择成本和性能更合适的环境。

陈晓建也列举出客户的疑问:既然Claude 3如此强大,为什么要加Amazon Bedrock这么一层呢?

在陈晓建看来,模型能力和真正的运营生产之间,需要增加很多辅助能力。Amazon Bedrock提供一系列除了大模型以外的能力。

首先是Provisioned Throughput(预置吞吐量)。客户可以购买后台资源,这些资源提供的大模型能力完全独享。

其次,是模型微调(fine-tunning),很多客户都会关注如何将自身的业务数据与大模型结合,进行微调。这毫无疑问是业务能够产生差异化价值的关键,关键在于如何用好业务数据,而非仅仅简单使用完全标准化的大模型。这个能力也是Amazon Bedrock提供的一个关键能力。

此外,还有类似Guardrails的能力,能够全面监管大模型使用情况,通过适当的配置来降低幻觉现象的产生,同时提供全方位日志。

从用户角度来看,除了大模型之外,如果他们需要充分利用大模型的能力,那么应该如何与业务结合呢?陈晓建认为需要一个非常强的数据基础或者称之为数据底座。要使用大模型,必须有一定的生产结合。生产结合意味着需要拥有大量的业务数据,需要去与大模型打通。

陈晓建表示,“大模型非常重要,非常核心,然而仅靠大模型对你的生产是远远不够的。你需要一系列周边能力帮助你正确、合理、安全、高效地使用大模型。这就是亚马逊云科技一系列产品所提供的价值所在。”

 

]]>
ChatGPT背后的安全隐患,谁来管比较放心? //www.otias-ub.com/archives/1579266.html Tue, 04 Apr 2023 04:28:51 +0000 //www.otias-ub.com/?p=1579266

面向公众的人工智能工具,包括ChatGPT等基于文本的应用程序,或文本到图像的模型——如Stable Diffusion、Midjourney或dall – e2等,已迅速成为监管、法律和在线隐私问题方面的最新数字前沿。恶意行为者已经在生成性人工智能的能力帮助下实施刑事犯罪,并传播错误和虚假信息,各国政府正在努力跟上步伐,而公司则将责任推给个人用户。正如毕马威澳大利亚公司(KPMG Australia)和昆士兰大学(University of Queensland)进行的一项调查显示,一般公众已经不相信政府机构会监督人工智能的实施。

该研究对17个国家的1.7万多人进行了调查,发现只有三分之一的受访者对政府在人工智能工具和系统的监管和治理方面具有高度或完全的信心。调查参与者同样对科技公司和现有监管机构作为人工智能的管理机构持怀疑态度。

尽管被调查者对国家政府表现出怀疑态度,但人们对像联合国这样的超国家机构的看法是比较积极的。欧盟委员会目前是这类机构中唯一起草了旨在遏制人工智能影响并确保保护个人权利的法律的机构。《人工智能法案》(AI Act)于2021年4月提出,目前尚未通过。拟议的法案将人工智能应用分为不同的风险类别。例如,旨在操纵公众舆论或从儿童或弱势群体身上获利的人工智能在欧盟将成为非法行为。像生物识别数据软件这样的高风险应用程序将受到严格的法律限制。专家们批评该政策草案存在明显的漏洞和模糊的定义。

这张图表显示了受访者对以下机构监管或治理人工智能最有信心的比例。数据来源:Statista.com
]]>
《创造力:内容元价值之AIGC核心价值与生态影响洞察》重磅发布,聚焦AIGC创造能力与内容新生态 //www.otias-ub.com/archives/1570463.html Thu, 16 Mar 2023 05:18:39 +0000 //www.otias-ub.com/?p=1570463 徐琦 江艺彤 胡亦晨

2023年3月15日,中国传媒大学媒体融合与传播国家重点实验室新媒体研究院与新浪AI媒体研究院联合发布《创造力:内容元价值之战——AIGC核心价值与生态影响洞察》。该课题由新媒体研究院院长赵子忠教授与微博COO、新浪移动CEO、新浪AI媒体研究院院长王巍担任首席专家,由新媒体研究院副教授、中国传媒大学青年拔尖人才徐琦与微博年轻用户发展部总经理、新浪AI媒体研究院副院长乔宇担任项目负责人,由微博机器学习总经理、微博技术委员会委员王健民担任项目顾问,由中国传媒大学新媒体研究院与新浪AI媒体研究院团队共同完成。

2022年,AIGC掀起了内容创造热潮,ChatGPT、DALL·E等应用在诗歌、绘画、作曲等创意领域惊艳亮相,成为现象级应用。在此背景下,本报告紧扣AIGC的内容创造能力与生态变革两大关键词,深入探究AIGC创造能力的本质,基于内容元价值——“创造力”,探讨人类内容生产的“核心竞争力”,辩证分析AIGC对内容生态的影响。该报告是AIGC领域产学研用协作创新的重磅成果,值得期待。

本报告全面剖析AIGC在内容创意领域的表现,包括四部分:第一部分直击AIGC生成的创意内容,纵览行业内外辣评、热评;第二部分聚焦AIGC引发的内容生产力变革,以三大核心技术突破支撑AIGC跨模态创意生成,引发PGC、UGC向AIGC的生产范式变革;第三部分着眼于内容元价值——创造力,揭示AIGC的创造力本质为“模仿式创新”,无法逾越与人类创造力间的鸿沟;第四部分从生产主体、生成范式、内容消费等八大维度揭示AIGC对内容生态带来的全局影响,立体展现内容产业发展新趋势。

《创造力:内容元价值之战——AIGC核心价值与生态影响洞察》不容错过的精华看点包括:

观察:AI打破创意天花板

看点1:目前,由AI生成的创意作品涉及到诗歌、文案、图片、音乐歌词等多个领域,其创意质量与创造能力始终备受关注,公众与专家学者对此展开激烈讨论。

战线:内容生产力革命

看点22022年是AIGC迎来爆发元年!在生成算法、预训练模型以及多模态技术突破的推动下,AIGC的创意生成从文字、图片、音频、视频延伸至跨模态形态,更具高效率、低成本、定制化、个性化、多样性和智能化优势,为人类创意生成带来新方案。

看点3内容生产范式经历了由PGC、UGC到AIGC的巨大演变,通过不断提高生产效率、扩大生产规模,生产关系由“少数人掌握制作工具和渠道”转变为“更多的人获取低成本的工具、平台,促进了内容的广泛传播和共享”,内容消费者也从“被动接收”变成了“主动参与和创造”,实现了生产和消费的双重革命。

对决:内容元价值之争

看点4报告厘定了价值与元价值的概念即内涵,提出“创造力是内容的元价值”,是内容的产生与发展之始。为评估AI智能和创造力,人们分别提出“图灵测试”与“洛夫莱斯测试”。目前,AI仍需更加先进的技术和算法以及对人类思维和行为的深入理解,才能通过“洛夫莱斯测试”,达到“人类创造力”水平。

看点5AIGC的内容生产是基于模仿、模型和概念的创作,在“理解和表达情感”、“独创性和创新性”、“非结构性问题”等方面的问题难以回避。尽管AIGC有诸多“创造力”表现,但其本质仍是“模仿式创新”,本质上无法替代人类创造力。

影响:内容生态面趋势

看点6AIGC的发展深刻影响了内容生态:AI作为内容生产主体的地位崛起,其内容产出量质升级,实现增效降本;AIGC重塑人智协作的内容生成范式,开启人智交互的内容消费方式,由AI巨头引领的内容生态洗牌业已展开;AIGC将成为元宇宙媒介化社会到来的“加速器”。与此同时,AIGC带来的内容速食泛滥、内容消费浅薄化、就业替代及结构性剩余问题也需引起警惕,未来,人类应积极理性应对AIGC带来的变革与挑战。

下面附上PPT完整全文

]]>
Oracle NetSuite与友达智汇战略合作 赋能制造企业全面数智化 //www.otias-ub.com/archives/1550292.html Tue, 10 Jan 2023 05:35:12 +0000 //www.otias-ub.com/?p=1550292 2022年年末,智能制造领域迎来重磅消息,智能制造领先解决方案服务商、友达光电全资子公司友达智汇(AMI)与全球云ERP领导者Oracle NetSuite强强联手,达成战略合作。双方将携手共享各自优质资源,以跨界优势互补全力打造先进制造业标杆客户,助力更多制造业企业走向数智化发展。

这一战略合作将谱写出怎样的行业传奇?199IT有幸聆听了甲骨文公司全球副总裁、NetSuite 大中华区总经理叶天禄与友达数位总经理赵丽娜的精彩分享。

(图:甲骨文公司全球副总裁、NetSuite 大中华区总经理叶天禄(左一)

与友达数位总经理赵丽娜(右一)签署战略合作)

友达与Oracle的三次结缘

早在20年前,双方从Oracle第一代ERP产品开始结缘。项目是本地部署,解决ERP、财务、生产等管理问题。

从当初全球显示屏龙头企业,发展到涵盖显示科技、 系统解决方案、智慧制造、医疗照护与绿色能源等领域的综合服务商,友达集团旗下的多家子公司、分公司、新业态、出海企业需要新一代灵活全面快速的云ERP。友达采用了Oracle NetSuite云ERP,这是双方的第二次合作。

友达数位是友达光电以全球化布局的智慧工业服务全新事业。在智改数转的浪潮中,双方发现各自在生产制造和运营管理方面能够优势互补,相互融合形成全面的解决方案,为更多的中国制造企业提供服务。这是友达与Oracle第三次结缘的契机。

三次合作,友达对Oracle 的信任度以及对系统认同度都非常高。

叶天禄坦言,当服务有智能制造需求的客户时,Oracle 主要能够提供的是ERP、运营、管理层面的支持。智能制造工厂更需要机器设备管理、IoT、制造执行系统(Manufacturing Execution Systems,MES)等层面的支撑。友达是智能制造行业专家。

叶天禄形象地比喻,双方的合作,是大脑、心脏与手、脚的合作。如果说Oracle NetSuite系统是大脑和心脏,那么友达智汇就是手和脚,没有友达智汇,Oracle NetSuite就无法触及制造业客户的落实层面。

赵丽娜强调,基于友达自身智能制造实践的最佳经验,结合Oracle在企业级数字化经营管理的经验,强强联合未来一定能为更多企业的数字化转型赋能。 

Oracle NetSuite在制造行业的独特优势 

在谈及Oracle NetSuite在制造行业的独特优势时,叶天禄表示,中国是制造大国,且已经进入升级的状态。在国家发展的宏图之下,制造业的升级需要自有的品牌。

中国自有品牌制造业的兴起,不止是制造和生产这么简单,它们大部分都是工贸一体。意味着不仅自己生产,自己的品牌还要要出海销售,所以它们的重心不仅仅是生产制造,更重要的是一些帮助其贸易、批发、分销、 海外零售、海外分公司管理。

因为是自主品牌,不止是代工,它们也会有很多研发的项目,所以项目管理也是非常重要的。在云ERP领域,一个系统能够做到除ERP以外,能够做到贸易、批发、分销、销量和项目管理,现在只有Oracle NetSuite能够做到。

Oracle NetSuite在中国发展如此之快。首先是抓住了国家制造业升级的契机,来服务这些自有品牌的制造业的发展。

第二点,得益于Oracle NetSuite的生态。Oracle NetSuite坚信生态共赢,除了从ERP到贸易、批发、分销、销量、收入管理、 电商等功能外,更强大在于有一个PasS平台,这个平台允许生态合作伙伴可以在上面开发自己的应用。或者把自己已经成型的应用,跟平台做无缝集成。就比如和友达智汇的合作,友达有非常多的关于智能制造工厂的应用和功能。都可以通过Oracle NetSuite PasS平台,做无缝集成。

叶天禄认为这两点能体现Oracle NetSuite在中国智能制造升级的大趋势之下的独特优势。

从MES到MOM 友达智汇与Oracle NetSuite聚焦新能源、医疗汽车三大赛道 

友达智汇智能制造解决方案以制造执行系统MES(Manufacturing Execution Systems)为主体,延伸到制造运营管理体系MOM(Manufacturing Operation Management)。

赵丽娜表示,中国制造业正在蓬勃发展中。友达智汇与Oracle NetSuite团队在深入调研后决定将新能源、生物医疗、汽车电子这三大赛道作为战略合作的起点。

在国家的双碳战略的指引下,基于整个新能源赛道,友达智汇与Oracle NetSuite将共同构建新能源智能制造解决方案,为新能源产业的发展提供非常好的支撑。

生物医疗是中国重点发展的制造业新板块之一。随着国内的大面积应用,生物医疗已经从早期的研发创新逐渐走向大规模生产制造的过程。大部分生物医疗公司缺乏大规模制造的经验。 友达智汇和Oracle将基于全球化的经验,赋能国内生物医疗企业的全生命周期发展。

中国从用车大国到汽车制造大国,无论是新能源汽车还是新式车型,中国汽车制造发展成为全球智能制造的重要赛道。友达智汇的智造经验与Oracle企业级的数字化系统经验融合,可以帮助更多汽车产业链上下游企业得到非常稳健的数字化基础支撑。

叶天禄表示,Oracle NetSuite过去在这三个赛道已经服务了100多个客户。这些客户一开始所需要的是简单的财务管理、ERP管理。随着他们成长之后,更加需要生产更加精细化、智能化。Oracle NetSuite能够给他们提供这些附加价值。在友达智汇加入之后,Oracle NetSuite将结合双方的经验将完美的解决方案提供给客户。

制造业数字化转型深化的关键点

赵丽娜介绍称,作为友达双轴转型策略中的重要一环,友达智汇主要为制造企业提供数字化转型和体系的支撑。迄今为止,友达智汇已经服务了700多家客户。客户的行业、类型、体量都不尽相同。依据友达的经验,数字化转型过程中有三个关键点:

第一点:数字化转型的关键点来自于人和组织。如果人的能力没有得到培养,纯粹使用技术转型的效果一定是事倍功半的。

友达智汇沉淀了大量的方法论,尤其是激励体系、全员生产维护TPM管理体系、技术知识管理体系TKM ,这些工具不是买回去就万事大吉了,最重要的是员工学会如何去使用这些工具。

第二点,数字化转型需要全员参与。很多公司都过于依赖IT技术部门或者部分厂商提供的技术支持,这形成不了企业的核心能力。

友达提供的很多数字化平台,譬如UAD program(人人都是系统开发者),帮助很多企业构建低代码平台,教会企业的员工自己写APP、做大数据报告,培养员工的AI能力。数字化转型,是企业全员参与而非少数人参与的转型。

第三点,数字化转型蓝图规划非常重要。一个企业的数字化转型并不是短期能够完成的,甚至企业不断发展的全生命周期过程中都要经历不断的蓝图规划升级。从点到线及面来实现。

赵丽娜指出,很多企业早期做数字化转型就是头疼医头脚疼医脚,甚至以为上了一个自动化方案就结束了,这些远远不够。数字化转型是一个系统工程,而这个系统工程源自于蓝图设计。只有基于蓝图一步一步实施落地才能衍生出扎实的数字化架构。

未来合作友达智汇和Oracle NetSuite形成创新突破

对于双方未来的合作,赵丽娜认为友达智汇和Oracle NetSuite在三个层面可以形成创新突破。

第一个是制造管理和企业经营管理的结合。Oracle NetSuite 的ERP主要集中在企业经营管理层面上,友达智汇则主要侧重于生产制造管理层面。大家在各自领域都有非常丰富的经验,也是强强融合的连接点。

第二是知识体系和流程的融合。友达智汇更多是在生产知识体系上的沉淀,Oracle NetSuite 则能够帮助企业建立非常稳健的流程基础。友达智汇的知识体系搭配Oracle NetSuite的流程管理,能够为企业的数字化转型给予非常完整的内核支撑。

第三是行业赛道的布局。Oracle在ERP赛道,尤其Oracle NetSuite在云端的主赛道布局是非常好的学习对象。作为智能制造解决方案服务商,未来在整个行业赛道市场化的布局上,友达智汇将与Oracle深度融合,借助Oracle以往市场渠道的布局,将双方的能力叠加在一起,可以实现快速加持的作用。

叶天禄则表示,友达智汇是智能制造领域的专家,Oracle 是软件和云端的专家,Oracle 对软件和云的研发,投入非常大,驱使Oracle 在软件和云方面领先全球。最近几年的财报,Oracle NetSuite的表现非常亮眼,包括获客率,专利等都有很好的增长。

“Oracle NetSuite提供云解决方案,但不是制造业的专家。友达才是,我们希望从软件和云领域领先的地位上,能够赋能友达,Oracle NetSuite坚信以后所有的解决方案都会在云端,向SaaS 的方向去推进。Oracle NetSuite希望从基础层面能够赋能友达,加强他们在制造业的专业度,共同服务好制造业的客户。”叶天禄说道。

题后记

在专访行将结束之际,199IT问两位负责人对新的一年的期许。叶天禄感慨2022年很多客户企业经营得非常艰难,但因为管理有方基本都挺了过来。最让叶天禄振奋的一个消息是长三角众多企业抱团包机出国抢单。叶天禄认为,2023年中国企业将是浴火重生,勇创高峰。通过Oracle NetSuite更高端技术和高端管理,能够让更多企业更高效、更高质量地全球抢单。

赵丽娜认为,危机和机遇永远并存。友达智汇和Oracle NetSuite真正在做的是数字化赋能体系,希望双方的强强联合,能够数位赋能,智绘未来,用智慧的能力帮助更多的企业绘画出更有竞争力的未来。

]]>
蚂蚁集团:可信密态计算(TECC)是全新的隐私计算模式 中国比欧美尝试更深 //www.otias-ub.com/archives/1473135.html Wed, 03 Aug 2022 06:35:09 +0000 //www.otias-ub.com/?p=1473135 隐私计算在中国发展如火如荼。蚂蚁集团已成为全球隐私计算行业发展的重要力量

来源:199IT 作者:Ralf神藏

刚结束的第五届数字中国建设峰会,蚂蚁集团首创推进的可信密态计算(TECC)入选“十大硬核科技”。同台竞技的,包括华为、中兴、京东方、深圳计算科学研究院、联通、南方电网、中国电子、航天云网等电信、科技、能源巨头。评委包括多位院士和数十位行业权威专家组成的专业评审组经过三轮讨论。

蚂蚁集团可信密态计算(TECC)之所以能够从489项成果中脱颖而出,靠的是实打实的过硬技术实力。官方给出的获奖评语是:将可信计算技术与密码学深入融合,形成安全高效的新型隐私计算技术,是数据密态时代的有力支撑。


(图:蚂蚁集团副总裁兼首席技术安全官韦韬博士 )

蚂蚁集团副总裁兼首席技术安全官韦韬博士现场接受了“十大硬核科技”颁奖,199IT与韦韬博士进行了简短的交流。

隐私计算的尝试中国比欧美国家迈入更深阶段

隐私计算并不是一个突然爆发的技术,在行业内已经存在多年。20世纪80年代姚期智院士提出了百万富翁设想,并在一篇论文中用密码学理论给出了解答,这便是当前隐私计算主流技术路线之一多方安全计算(MPC)的理论来源。在中国,隐私计算已经发展得如火如荼。2016年前后,以蚂蚁集团为例的科技公司开始布局隐私计算,也出现了一批隐私计算技术创业公司。随着数据要素流通和安全合规需求的加持,近两年隐私计算已在各地各领域逐步展开规模应用,包括金融、政务、医疗等领域。

与欧美国家相比,在隐私计算领域,中国已经比欧美国家迈入更深的尝试阶段。这是中国的后发先至的优势。明确的法律法规、庞大的市场和更大更快的应用需求,也让中国市场脱颖而出。

2021年,Gartner发布的隐私计算技术成熟度曲线,预测到2024年,隐私驱动的数据保护和合规技术支出将在全球突破150亿美元以上。 甲子光年智库测算,到2025年隐私计算市场将超过200亿,2021年至2025年年均复合增长率达133.4%。

与市场高速发展同步的,还有隐私计算技术的突破,这次获得“十大硬核科技”的可信密态计算就是个很好的案例。

当前实现隐私计算的技术路径很多,包括多方安全计算、联邦学习、可信执行环境、全同态等等,但这些单一技术路线各自存在着一定的局限。

在此背景之下,蚂蚁集团于2021年起推动发展新一代隐私计算技术“可信密态计算”(Trusted-Environment-based Cryptographic Computing,TECC),创新性地将密码技术(MPC、FL)和全栈可信计算技术(TEE、TPM)融合在一起,突破了使用单一技术的局限,获得了更高的综合能力。可信密态计算(TECC)解决了海量数据规模、高数据安全性、复杂计算逻辑、多数据参与方的复杂难题,进一步拓宽隐私计算的数据规模量级和计算能力,不仅满足联合营销、联合风控、数据共建等经典隐私计算场景,还突破性地支持大数据和跨地域隐私计算场景。

以东数西算为例,东数西算的数据使用场景和数据规模巨大,传统隐私计算的跨网计算模式难以发挥出西部算力优势。而TECC计算集群不用将数据明文在东西部之间传输,可以在西部算力节点只需存储密态数据,而且数分钟内可以完成亿级密态数据的类SQL分析,1小时内完成亿级密态样本的XGB模型训练。TECC还支持用户在底层算子上自定义计算逻辑,对排序、乱序、数学函数等都进行优化设计,可以有效支撑东数西算场景的计算能力需求。

以TECC为基础的数据中心方案,通过密态计算和可信执行环境融合,运维人员也难以窃取数据,非常适合有高安全需求的数据,并且TECC的计算方和数据提供方是分离的,可以最大程度上发挥西部能源和算力优势。

谈到此次可信密态计算(TECC)获奖的意义,韦韬博士坦言,获奖一方面是对蚂蚁集团隐私计算技术的认可,也是对整个隐私计算行业的认可。特别是全面到来的数据密态时代,隐私计算的重要性已经被提到了非常关键的位置。更重要的其实是对隐私计算这项技术发展的鞭策和期待,隐私计算对数字经济发展至关重要,关乎数据这项国家战略资源的价值释放,也关乎数据要素流通行业的健康长远发展。

(图:蚂蚁集团首创推进的可信密态计算(TECC)入选“十大硬核科技”)

对于行业来说,隐私计算本质是要把数据要素的流转融合,从明文变成密文,整个数据流通行业即将迈入密态时代,这个变动是极其巨大的。数据是各行各业数字化应用的血液,渗透到各个环节之中,这些变化是需要各行各业一起来努力实现的。在这方面,行业企业、研究机构、专家们做了很多努力,包括共同制定行业白皮书,举行座谈会,制定行业标准等。蚂蚁也积极参与到了行业生态建设的队伍中,除了上述的工作,蚂蚁还开源了多个隐私计算产品,包括2019年开源的TEE 操作系统Occlum,今年7月开源的可信隐私计算框架“隐语”。可信密态计算(TECC)作为隐语的关键构件,也将在主管部门指导下进行开源。如何跟同行共同推进,如何和主管机构、行业协会来协同工作,也是需要大家共同思考的问题。

蚂蚁集团隐私计算专利全球第一 前十名越来越多中国公司身影

三年前,隐私计算领域专利基本为国外巨头公司如微软、IBM等所有。“当时的感受是国际巨头在隐私计算领域专利非常厉害,专利数量多。”韦韬博士回忆当时的情景时表示,而彼时,蚂蚁集团在隐私计算的专利已经排入全球第三名。

仅仅三年,这一格局已被打破。目前,蚂蚁集团已经成为隐私计算领域专利申请数全球第一。更可喜的变化是,全球前十名的企业里,中国公司占据越来越多的席位,包括了阿里巴巴、中国平安、华为、国家电网等公司。

回顾这三年的发展,韦韬博士表示,蚂蚁集团在隐私计算上投入了巨大的资源,非常看重这个领域的技术研发和创新。蚂蚁几乎已经探索了所有能探索的隐私计算技术,这一点在蚂蚁7月份开源的可信隐私计算框架“隐语”中也能得到体现。“隐语”用一套通用框架支撑了当前几乎所有的主流隐私计算技术,包括多方安全计算、联邦学习、同态加密、差分隐私等技术,也可支持可信密态计算(TECC)这样新兴的隐私计算技术。隐私计算领域与之前的互联网、通信领域都有很大区别。与DVD编解码、3G时代核心技术都被国外巨头所垄断不同,在隐私计算领域,通过中国公司的不断努力,不会再被国外公司“卡脖子”。

国内很多公司达成的共识是,隐私计算对后续互联网科技发展有着至关重要的战略意义。

可信密态计算是对隐私计算标准的重大创新

可信密态计算是隐私计算领域蚂蚁集团首创推进的一个全新模式。此前在隐私计算里,中国公司更多的是跟随策略。

这种全新的隐私计算模式,能够很好地解决多维度数据密态作为数据时代的需求,中国的企业和机构能有更多的创新机会,在此基础上能够支撑未来更多的数据要素的创新机会。

据介绍,可信密态计算(TECC)基于全栈可信与密态分片的全密文高速计算能力,在性能、可靠性、适用性等方面比传统跨网隐私计算有显著提升。TECC能在1小时内完成亿级样本XGB建模;适用于任意多方参与,任意数据划分,支持99.99%~99.999%基础设施级可靠性要求;比明文分布式计算增加不超过一个数量级的实用成本,也是首个可以满足数据密态时代多维度基础设施级要求的隐私计算技术。

199IT与韦韬博士探讨行业标准的问题时,韦韬博士表示,以往的隐私计算标准都是单个的技术标准。如多方安全计算(MPC)、联邦学习(FL)、可信执行环境(TEE)等等,很难去横向比较单个的安全性。在7月底中国信通院发布的《可信隐私计算研究报告(2022年)》中也提到,隐私计算产品安全边界的界定需要考虑不同行业、不同场景和不同技术的差别,也需要平衡计算准确性和计算效率的要求。因此,如何评价和验证系统的安全性亟需明确。对此蚂蚁集团结合多年深耕隐私计算技术研究和实践经验,对隐私计算实现的安全性进行了通用的五类安全分级,希望推动隐私计算实现的安全性落到实处。

韦韬博士强调,隐私计算行业的变革非常巨大,对各行各业的发展影响也非常巨大。但发展不是一蹴而就的,至少需要经过三至五年的过程。其中,安全是立身之本,要保障数据安全和基础设施的安全,需要稳定可靠的发展。

由于近年来隐私计算需求非常急迫,“安全和需求之间需要均衡,需要政府、企业、社会一起更好地推进。未来来看也不是仅仅是中国的事情,一定是全球化的事情。数据要素流程一定是未来国际竞争非常核心的环节,特别需要国内国外的更好的协同,生态更好地构建,这些至关重要。”

从技术、研发、专利、应用等多维度,中国科技公司已经成为全球隐私计算行业发展的前沿阵地。自研、硬核、创新、突破成为中国隐私计算领域的强大底色。在引领这一全球未来趋势的核心技术里,蚂蚁集团与中国其他科技公司一道,将成为全球重要的重要力量。如韦韬博士的判断,三至五年内,中国隐私计算技术将迎来更为突飞猛进的发展。

]]>
如何选择适合你的企业数据管理类产品 //www.otias-ub.com/archives/1100451.html Thu, 13 Aug 2020 08:50:31 +0000 //www.otias-ub.com/?p=1100451 本文来源:数智化转型俱乐部

1
细数数仓30年发展史 

数据库与数仓的老牌产品供应商

数据工程研发的历史是可以追溯到上世纪八十年代的数据库和数据仓库理论,随后一大批的数据管理服务厂商开始崛起,其中 Oracle、Informatica 两家非常有代表性,在行业中身居统治地位。

Oracle

Oracle 的数据库在云计算逐步铺开、去IOE声浪逐步扩大的趋势中开始式微,以及各类新兴的非接口化存储,如ElasticSearch、TSDB、MongoDB 等,OLTP场景下的市场份额争夺激烈,除了老牌的数据库厂商外,一些云计算大厂也开始了数据库产品的研发,如AWS的Aurora、阿里云的PolarDB ,在云计算市场中开始成为企业云架构的基础能力。

同时,在OLAP场景下,也就是Informatica一直处于霸主地位的市场中,在12年大数据逐步进入公众视野后,越来越多的挑战者进入,几大云厂商也不例外,其中以Google、Azure和阿里云的追赶最为猛烈,Google在云计算先机失利的情况下,开始发挥巨大现金储备的优势,开始买买买,投资了 CASK、LOOKER等产品,微软则是利用自身的产品沉淀,收割着办公领域的存量客户;阿里云则是以“数据中台”架构打响了企业数字化转型的重要一枪,国内开始大量出现数据中台服务商,生态开始繁荣起来。

Informatica

在这样的大环境下,Informatica作为老牌的数据管理厂商,目前在Gartner魔力象限中依旧占有非常重要的席位,所以在众多企业选型的时候,都会考虑到使用Informatica的产品,但是国内这个产品一直是名声大市场小,对于Informatica的好奇,也为了给客户能够提供更加全面的参考,我们对Informatica进行比较细致的调研,主要从产品能力、技术支撑以及交付模式,因为商业化的企业服务产品都不便宜,希望一次采购能够带来比较长期的收益,所以产品是否能够持续使用起来也是我们关心的一个要素。

首先看Informatica的产品能力,他们提供的主要输出版本已经逐步使用B/S的模式, 相比之前的Client模式对于用户接入提供了更好的体验;对于数据仓库构建的第一步“数据集成”,Informatica以 PowerCenter 作为数据集成的产品名称,为面向不同场景的数据集成,则提供了多样不同的版本:

  • PowerCenter 标准版,用于集成和提交及时、相关、可靠的数据;• PowerCenter 高级版,用于执行复杂的任务关键型数据集成方案;• PowerCenter 大数据版,通过新兴的技术和传统的数据管理基础设施集成大数据;• PowerCenter 数据虚拟版,用于提交最新的、全面的、可以信赖的业务视图;• PowerCenter 实时版,用于实时集成和预配置营运数据;• PowerCenter 云版本,用于无缝地将云中数据和本地系统上的数据进行集成

这么多版本不免让人眼花缭乱。虽然从产品管理的角度来看,是个不错的拆分方法,但是对于用户而言,就没有这么方便了,让人有种不良商家使用锚定价格来收智商税的感觉。PowerCenter的应用架构如下图:

PowerCenter 的应用组件:

1)服务端组件

  • Informatica Service:PowerCenter 服务引擎• Integration Service :数据抽取、转换、装载服务引擎

2)客户端组件

  • Administrator Console:用于知识库的建立和维护• Repository Manager:知识库管理,包括安全性管理等• Designer: 设计开发环境,定义源几目标数据结构;设计转换规则,生成ETL映射;• Workflow Manager: 合理地实现复杂的ETL工作流,基于时间、事件的作业调度;• Workflow Monitor: 监控workflow和Session运行情况,生成日志和报告

简单地说就是,开发者通过Designer配置和设计数据的传输、转换和映射关系,通过workflow来首先周期性地调度和管理

2

传统数仓产业

数仓产品选型不仅是功能还有服务

从产品所对应的技术支持能力上看,由于是工具类产品,使用过程中的问题是否有完备的产品使用和客服支持很重要,在官方材料中没有看到过产品的客户服务支持方案,应该与具体的保障要求有关系,不知道是否会像通常的国外软件服务,仅能在工作时间电话,一般离线数据任务都是在凌晨时间运行,一旦出现问题,如何快速响应,也是需要在产品采购时关注的。

3

新时代数字化建设方案

企业数据中台的构建解决方案架构与落地路径

最后就是交付实施了,对于传统数仓交付的团队,对于Informatica应该不算是陌生的,但是在国内这一类的服务商一直没有发展起来,原因就是太依赖产品了,Informatica不是中小企业的预算可以承受的,所以比较难以规模化,尤其是在云计算的冲击下,消费互联网发展逐渐开始趋平,产业互联网开始兴起,或许企业中会有更多的资金投入到数据管理的领域,

但是,中国国内企业的现状而言,估计还是不仅仅采购一个产品这么简单,如果产品版本过于复杂,操作需要极强的专业性,那么也很难规模化;

对于企业而言,不仅仅需要一个有着丰富功能的产品,还有有支撑通过产品去实现商业成功的团队或者技术支持,所以选择一个有着完善生态交付能力的产品或许是更好的选择。

2019年云栖大会上,阿里云数据中台推出产品Dataphin,其中有个介绍对于国内企业还是参考意义的,产品具体的介绍如下:

“阿里云数据中台,基于阿里巴巴近十年的大数据建设经验,沉淀出一整套的数据采集、建设与管理的方法论体系,并产品化为Dataphin产品,形成数据的采、建、管、用 一站式全链路服务能力,在中国乃至世界企业数字化转型中,承载枢纽位置,助力企业实现数据资产化和价值化!”

Dataphin在产品能力在于数据虚拟化上,通过定义一系列的原子的概念,如维度、业务过程、原子指标、业务限定、派生指标,以及模型内的关系,如维度、属性、关联关系等等,从而实现数据生产的自动化,进而实现在开发层是面向业务逻辑的开发、在使用层面是面向主题式模型的引用,进而实现了数据的虚拟化能力。

D

总结

目前,阿里云数据中台产品矩阵正在不断地优化和发展。建议企业在选择的时候,不要盲目,适合自己的才是好的、对的!


如您对商业智能,数智化转型感兴趣,请加微信:wendy199it

]]>
亚马逊云服务(AWS)加快云产品和服务落地中国的速度 //www.otias-ub.com/archives/1096162.html Tue, 04 Aug 2020 14:08:52 +0000 //www.otias-ub.com/?p=1096162 日前,AWS大中华区云服务产品管理总经理顾凡接受记者采访表示,伴随着中国云计算市场的高速发展,AWS正在加速新服务和功能落地中国区域。仅今年上半年,亚马逊就在中国区域落地了150多项AWS云服务和功能。

(图:AWS大中华区云服务产品管理总经理顾凡 来源:199IT)

中国信息通信研究院7月29日发布的《云计算发展白皮书》显示,从2017到2019年,中国公有云的市场规模从264.8亿元增长689.3亿元,2018年、2019年的增速分别达到65.2%、57.6%。预计到2023年,市场规模将达到2307.4亿元,是2019年的3倍多。

2020年7月31日,亚马逊发布2020年第二季度财报,其中AWS季度收入为108亿美元。在中国,面对未来的良好增长前景,AWS也充满了期待和信心。

顾凡说,AWS要为中国企业和机构的创新赋能,非常重要的一点是要加快AWS云服务产品和功能在中国落地。

AWS云服务落地中国有两种情况:大部分服务和功能只需要做一些简单的本地化开发就可以在中国区域部署落地,有一些服务需要做更多的工作。但无论哪一种,AWS都会根据中国客户的需求,尽快、尽早地将全球的服务和功能落地到中国区域。

中国企业数据量的爆炸式增长,对大数据处理和分析有着非常迫切的需求。针对这些企业客户的需求,今年上半年AWS在中国区域就推出和部署了交互式查询服务Amazon Athena,数据提取、转换和加载 (ETL) 服务AWS Glue,以及流式数据处理服务Amazon MSK。

在容器领域,AWS在中国区域落地部署了Amazon EKS,让管理、运维K8S容器变得简单方便。

7月刚刚发布的AWS Cost Management,是一组帮助客户省钱、精细化管理云资源的服务。让客户少花钱,这种事情在IT界可以说是前所未有的。AWS还经常主动降价,截至2020年6月23日,AWS已经公布了自2006年上线以来的第85次降价。

在今年新落地中国区域的云服务和产品中,特别值得一提的是机器学习服务Amazon SageMaker。

人工智能现在是非常热门的话题。亚马逊认为,人工智能的本质和核心是机器学习。人工智能、机器学习的概念早在50年前就出现了。之所以现在才热起来,是因为过去机器学习的门槛比较高,只有少数科技巨头和硬核的研究机构才有条件进行研究。一方面是机器学习需要的庞大算力不容易获得;另一方面,机器学习模型的训练过程特别复杂,要搭建训练环境、准备数据、寻找合适的算法、进行大量的运算、优化算法。

现在有了云计算,算力不再是问题。SageMaker则可以降低机器学习模型训练过程的复杂性。SageMaker是一项完全托管的服务,它可以化繁为简,帮助开发者和数据科学家快速地规模化构建、训练和部署机器学习模型,大大降低了模型构建和训练的难度。

SageMaker是一个非常开放的产品,无论对于各类机器学习框架和算法的支持,模块化的设计方式,还是对于生态合作伙伴解决方案的支持,能够真正让各种类型、各种需求的客户都很方便地应用这个服务。此外,SageMaker Studio还是业界第一个面向机器学习的集成开发环境。

目前,Amazon SageMaker成为了全球上万家客户的选择。Gartner在2020年2月发布的《云上AI开发者服务魔力象限》,在技术执行力和对技术未来发展愿景的完整规划方面将AWS排名在领导者象限最高位置。

SageMaker一经推出就受到了中国客户和合作伙伴的欢迎。大宇无限、虎牙直播、嘉谊互娱、华来科技等公司已经在使用SageMaker解决机器学习技术的需求。中科创达、东软、伊克罗德分别将SageMaker运用到产品质检、企业安全网关、标签标注、文本分析、语意理解、预测分类、推荐系统与诈欺侦测等多种解决方案和应用场景之中。

AWS在加快产品落地、为中国的企业创新赋能的同时,也担当了中国市场全球化桥梁的角色。

一方面,很多知名的中国公司,例如像美的集团、猎豹移动、小米、OPPO、虎牙直播、海信、德比软件、安克创新、TP-Link、一加、币安、晶泰科技、华大基因、传音控股、网易游戏、我爱我家、携程旅行、迈瑞医疗等等,都在利用AWS的全球基础设施和云服务。得益于AWS全球24大区域、77个可用区的广泛布局,这些公司不需要费力地,去异国他乡构建IT设施,在中国就可以做好海外业务。AWS还利用亚马逊的全球资源,例如全球开店、Prime会员、物流配送体系、生态合作伙伴资源等等,为他们提供销售、市场、产品交付、融资等帮助。

另一方面,还有很多跨国公司,例如博西家电、英孚教育、玫琳凯、太古可口可乐、先锋电子、英伟达、赛默飞世尔、西门子、飞利浦等等,他们在海外就使用AWS。进入中国后,他们可以使用AWS中国区域,快速部署应用,在运营上享受一致的体验。

顾凡说,在海外区域使用AWS的客户,也是AWS新服务落地中国区域的向导,他们给AWS提供反馈,希望哪些服务尽快落地中国区域。根据客户反馈制定服务落地中国区域的优先级,让AWS赋能中国客户的工作事半功倍,更加高效。

]]>
Gartner最新报告建议企业客户借鉴亚马逊的数字化模式 //www.otias-ub.com/archives/1096110.html Tue, 04 Aug 2020 14:02:54 +0000 //www.otias-ub.com/?p=1096110 日前,亚马逊发布2020年第二季度财报,季度收入889亿美元,同比增长40%。在当前的全球经济形势下,显得尤其亮眼。亚马逊这些年的成功,得益于该公司在业务上不断创新。以亚马逊云服务(AWS)为例,这项开始于2006年的业务,在2020年第二季度的收入达到108亿美元,过去12个月的收入超过400亿美元。这在企业IT市场已经是相当可观的规模。

知名研究和咨询机构Gartner最近发布了一个针对AWS的供应商评估报告。这一名为Gartner Vendor Rating 的评估报告,是Gartner面向企业用户所做的IT采购决策参考指南。它通过对一家IT供应商进行全面的评估,告诉最终用户,这家供应商作为战略性的供应商合作伙伴,在各方面技术实力如何,发展走势和长期定位怎样,从而帮助用户管控供应商风险,为用户的关键采购、投资及续约决策提供参考。Gartner在这项评估报告中,对AWS给予了有史以来的最高评分:28分(满分为30分)。记者了解到,Gartner还没有给过其它IT供应商27分以上的评分。

Gartner在评估报告中指出,亚马逊利用科技力量颠覆传统市场,缔造独树一帜的客户体验。而亚马逊云服务(AWS),充分展现了其颠覆性技术在市场上的强大影响力。Gartner建议企业应该充分借鉴亚马逊的数字化模式,将其作为技术驱动力的杰出范例,在业务中融入数字流程,模仿亚马逊,在寻找新市场机会和响应竞争威胁方面打造敏捷性。

这一评估报告可以Gartner官网下载,网址:https://www.gartner.com/doc/reprints?id=1-1ZFLWYKW&ct=200709&st=sb

借鉴亚马逊的数字化模式,AWS是最佳的入口。AWS大中华区云服务产品管理总经理顾凡告诉记者:“AWS为亚马逊的各种创新提供了技术支撑,其中云原生架构是关键。”

云原生架构有三大特征:微服务、自服务和开发运维一体化。微服务实现了应用模块化、应用模块之间接口的标准化,让应用更敏捷灵活;自服务可以让开发团队快速获得资源,不需要冗长的流程;开发运维一体化,可以让应用快速迭代和升级。AWS为客户的创新赋能,最重要的是提供广泛、全面、深入、功能强大的云服务。客户使用这些云服务,就能够构建云原生架构,实现敏捷创新,缩短新应用上线时间,加快应用升级迭代速度。通过丰富的云服务,客户可以借力最新技术,而不需要自己造轮子。

目前AWS提供的云服务超过175项,涵盖计算、存储、数据库、网络、分析、机器人、机器学习与人工智能、物联网、移动、安全、混合云、虚拟现实与增强现实、媒体,以及应用开发、部署与管理等诸多方面。其中很多服务是AWS在云上首创的,有些至今仍然是非常独特的。 例如,无服务器服务、云上庄闲网络娱乐平台进入 服务、云上卫星地面站数据服务、云上机器学习平台服务等等。

AWS Outposts、AWS Local Zone、AWS Wavelength、AWS Ground Station、Amazon Bracket是AWS在 2019 re: Invent全球大会上推出的创新服务,分别实现的功能包括:帮助用户从本地的数据中心无缝衔接公有云,在特定城市建设本地可用区让当地终端用户缩短延迟,5G网络边缘的电信运营商数据中心部署云服务让终端用户缩短延迟,让客户不需要高投入就可以使用卫星通信处理数据,让一般的企业也可以探索量子计算的用途和用法,等等。AWS可谓上天入地,竭尽云计算的各种可能。

AWS Snowcone是2020年6月推出的一个云服务,它是一个边缘计算设备,长宽相当于大半张A4纸,比最新iPad七代还小一点点。在AWS Snowcone上可以运行使用 AWS IoT Greengrass 或 Amazon EC2 实例,运行边缘计算应用,也可以用来收集、处理数据,将数据传输到AWS云。

AWS这些服务的推出,都引来业界人士一片叫好声。

在不断推出新服务的同时,现有的服务也会不断迭代新的功能。以最经典、最早的Amazon EC2弹性计算云(Elastic Compute Cloud)服务为例,AWS一直不断地更新升级底层物理服务器的体系架构、硬件配置、虚拟化软件,不断增加新的实例类型。

截止2019年12月,亚马逊提供超过270种实例类型,是两年前的4倍,这在行业中遥遥领先。所谓实例,通俗地说就是云主机。AWS通过创新的Nitro架构,推出新一代C5实例类型,让性价比提高了49%。通过自研ARM处理器推出新实例,基于AWS Graviton 2第二代自研芯片的第六代C6实例,比第五代的性价比再提高40%。此外,在芯片方面,AWS已经集齐了英特尔、AMD、英伟达、赛灵思等不同芯片厂商的处理器。各个芯片厂商发布最新的产品,往往意味着更高的性能,更高的效率,更高的性价比。芯片厂商只要有新处理器上市,AWS几乎都能第一时间放在云上供客户使用。

通过AWS提供的云服务,客户可以打造云原生的架构,提高敏捷性,快速试错,快速迭代,加速创新,缩短产品上市时间;同时还能降低一切技术门槛和资金门槛,减少资本开支,降低IT运维成本。

 

]]>
如何保证经营报表数据实效性、多样性、准确性:用Dataphin我实现了自动化建模 //www.otias-ub.com/archives/1095908.html Tue, 04 Aug 2020 04:21:58 +0000 //www.otias-ub.com/?p=1095908 本文来源:数智化转型俱乐部

随着大数据趋势的迅速增长,数据的重要性与日俱增,企业内看数据、用数据的诉求越来越强烈,其中最常见的就是各种经营报表数据:

老板早晨9点准时需要看到企业核心的经营数据,以便进行企业战略及方向决策
业务负责人不定期进行个性化的项目筹划,需要多维、及时效果数据以优化项目安排
运营需要和高层一致但粒度不同的经营分析数据,并进行活动策略调整
……
举个经营报表的例子:

这个例子并不复杂,但是对于分析师或者业务开发者,实际执行的复杂度和工作量并不小,而且类似的工作每日都在重复……业务发展越快,带来的问题就越来越多:

加工时间长、人工成本高,招再多的分析师也难以满足需求
代码可读性差,数据可维护性差,类似需求需要反复、重复开发
代码开发不规范,加工过程中难以避免的计算存储浪费
得到的数据指标,复用性差导致重复建设,数据越来越不标准规范
这种情况下,对业务的直接影响就是:决策周期长(数据需求满足慢),决策易出错(数据指标口径不一致)。

既要保证数据生产时效性——及时产出数据并满足需求,又要支持数据多样性——企业自下而上不同业务分析场景,最后还要保证数据准确性——任何时间、不同岗位的人都能用同样的数据解读经营情况,怎么才能做到呢?

企业的发展加速,离不开20世纪的文档管理转到21世纪的信息管理。同样的,如果繁复的指标代码编写工作,也可以如计算器一般,界面可视化点选,复杂的代码研发过程由计算器自行处理完成就好了。

而Dataphin的自动化建模功能,就可以很好实现这个能力。

1

选择组合条件

如下图,确定需要统计计算的值,Dataphin里称为“原子指标”——最小的数据值统计单元,比如用户数这样的统计值等,然后组合如下内容:

A. 统计计算值需要应用的分析对象,Dataphin里称为“统计粒度”——维度或维度的组合,比如用户星级、用户状态等

B. 数据统计计算的时间周期,Dataphin里称为“统计周期”——统计数据需要跨越的时间长度,比如最近1天、最近30天、自然周、自然月的等

C. 数据统计的其他个性化限定条件,Dataphin里称为“业务限定”——数据记录的筛选过滤条件,比如生鲜业务类型、PC端、女性等

2

预览指标

选择完毕组合条件后,可以预览组合出来的派生指标:
1)组合的指标,默认名取“原子指标+时间周期+业务限定”组合名,保证命名标准规范。
2)历史已生成的组合,不再生成,保证指标建设统一,无重复

3

一键自动化生成

确认需要提交的指标后,一键【提交】,分钟级指标生成:
1)自动汇聚至以“统计粒度为主题”的汇总逻辑表表下,保证管理标准规范;
2)代码和调度依赖关系,系统自动生成;
3)派生指标基于汇总逻辑表,可快速雪花模型查询使用指标、分析对象的属性信息。

①派生指标自动汇聚至汇总逻辑表

②派生指标所在汇总表节点,代码及调度关系自动生成


③汇总表及派生指标可查询消费


4
复杂需求实现

上面主要是基于简单统计指标实现,实际上,报表需求还有类似 比率型、乘积型等复合统计方式,比如“客单价=销售额/客户数”,这类也可以通过Dataphin的衍生原子指标实现:

1)衍生原子指标是基于原子指标的再组合;

2)基于衍生原子指标新建派生指标时,需要保证拆解到最细粒度的原子指标,有相同的分析维度、时间周期,允许维度的计算路径不同、设置的业务限定不同。

①新建衍生原子指标


②基于衍生原子指标新建派生指标


D
总结


上面步骤可以看到,派生指标的计算生成,离不开原子指标、业务限定、统计粒度的协助,这其中有什么奥秘呢?

其实很简单,用Dataphin高效创建派生指标,掌握这1张图就够了:

1)原子指标为核心,原子指标的来源表为中心

2)统计粒度取自来源表的关联维度,以及关联维度上的关联维度

3)业务限定基于来源表为中心的雪花模型做定义

4)统计周期可任意搭配使用


如您对商业智能,数智化转型感兴趣,请加微信:wendy199it

]]>
阿里巴巴数据专家干货|数据中台模型设计系列(一):维度建模初探 //www.otias-ub.com/archives/1095905.html Tue, 04 Aug 2020 04:00:12 +0000 //www.otias-ub.com/?p=1095905 本文来源:数智化转型俱乐部

摘要
本文从几个常见概念入手,介绍模型设计与它们的关系,在列举当前企业模型设计的建设方法,并重点介绍“维度建模”。

1

与几个概念的关系操作型业务系统

对于这个概念大家都不陌生。企业业务赖以运转的交易系统就属于操作型业务系统。因此它是为了保障业务正常运转,能够更快的处理事务。

但是因为它是针对某一特定的意图(例如满足交易业务),它不需要承诺与其他业务系统共享公共数据。因此就出现了适合于企业中交叉应用的ERP、主数据系统。当然对于有建设业务中台的企业来说,基于微服务架构的各个服务中心,能更好的提供可复用统一的公共数据。

不管是面向业务的业务系统、经过数据统一后的主数据系统或者基于微服务架构的服务中心的数据,都是作为数据中台的数据输入源头。我们通过批量同步、归档日志采集等方式,能将数据采集进数据中台,作为ODS层原始数据的一部分。

ETL

英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。在ODS层的原始数据,需要通过加工处理后,才能进入到构建好的数据模型中。

在模型设计时,需要考虑ETL加工流程,根据逻辑判断,做模型的合理设计。同样对于下游使用数据模型的ETL元数据,也是作为模型设计的输入,可基于下游应用方式做模型的横向和纵向的拆分设计,这就是“元数据驱动模型设计”的理论来源。

因此,无法理解数据开发的模型设计师是不合格的。

数据应用

数据中台提供多种数据应用的形式,包括数据报表、智能数据产品等。将统一汇总加工后的数据或者明细原子数据提供给数据应用,为业务提供数据支撑。

更加合理的数据模型设计,能够给更宽泛的应用提供数据支撑,也能够让业务方更准确无疑义的使用好数据。

2

几种企业常见的建设现状烟囱式

也许大家都不愿意承认,但是绝大部分的企业当前是没有统一、标准、公共、全局的模型设计的,而仅仅是把数据同步上来,然后基于业务需求做烟囱式的数据开发。这种方式也许从短期来看是效率最高的,但是从长期看,不仅仅造成计算存储资源的极大浪费、没有统一可用的数据、大量的重复性的工作。企业的数据就像一团乱麻,根本无法管理。

三范式+数据集市

一些传统大型企业,由于历史原因,原子数仓中以三范式的模型设计方式构建,在各个应用的数据集市中以维度建模方式构建。通过这种方式,在原子数据设计过程中,需要投入较大的资源。

对于业务来说,三范式模型太复杂,用户难以理解和检索。并且对于业务频繁变化的企业,模型的维护成本极高。

企业级维度模型

基于企业全局的角度去构建业务总线矩阵,在此基础上完成维度模型的设计,是当前众多企业选择的方向。从众多互联网企业的数据中台实践经验来看,这也是一个绝佳的各因素平衡后的选择。

后面,我们将从各个角度来思考如何基于维度模型构建企业级数据中台。

3

维度建模初探优势

在数据中台建设经验中,企业级维度模型设计从理解性、扩展性、高性能上都是更适应当前的技术和业务环境的。

首先由于计算和存储成本逐步下降,模型更重要的变成了易于理解,当易用性放在模型设计的重要位置时,维度模型可理解的优势就显现出来了,维度建模一直就是以业务的视角来描述数据。

另外,当新的业务出现时,新的模型不会对已有模型形成冲击,可以无影响的产出新的模型数据。

维度建模会设计部分数据的冗余,通过冗余换来数据检索的高性能。对于数据量极具膨胀的今天,高性能给用户带来了高价值。

事实表

所谓的事实表,就是企业的业务过程事件的度量信息。例如对于支付这个业务过程来说,需要度量支付的商品数、金额等度量。因此,企业的业务过程数据以事实表的形式在模型中呈现出来。

事实表每行都对应了一个度量事件,每行数据是一个特定级别的细节数据。事实表中每个度量都必须是相同的粒度级别。

事实表中的度量的可加性也至关重要,因为业务方往往需要将事实表的数据基于某些维度进行汇总,在度量上需要能够做汇总累加。

事实表还是稀疏的,它仅仅会将发生的业务过程数据放入其中。

维度表

维度表是事实表不可或缺的组成成分,它描述了事实表业务过程度量的环境。用于描述“谁、什么、哪里、何时、如何、为什么”有关的事件。

维度属性是作为查询约束、分组、标识的主要来源,因此它的好坏直接决定了数据的可分析性的差异。维度属性需要是可理解的,因此需要尽量避免“0,1”之类的代码,将代码翻译成更易理解的字符避免业务的误解。

同样,会有一些数值型的可作为维度属性。例如:也许有人会问商品标价适合在事实表还是维度表中?

当用于计算度量时,它应该存在于事实表中;但是当它用于做约束、分组、标识分析时,则需要存在于维度表中。在维度表中,我们往往会把连续的数据换成离散的数值存储,例如:将标价变为价格区间段。这是要根据对业务的理解做进一步设计的。

雪花模型与星型模型

所谓的雪花模型,是当有一个或多个维表没有直接连接到事实表上,而是通过其他维表连接到事实表上时,其图解就像多个雪花连接在一起,故称雪花模型。

而星型模型则是所有维表都直接连接到事实表上,整个图解就像星星一样,故将该模型称为星型模型。

雪花模型是对星型模型的扩展。

星型模型是一种非正规化的结构,多维数据集的每一个维度都直接与事实表相连,不存在渐变维度,所以数据有一定冗余。因为有冗余,所以很多统计不需要做外部的关联查询,因此一般情况下效率比雪花模型高。

但是从可理解性上看,雪花模型是更容易让业务理解的。因为业务可以从模型上看出维度与维度之间的关系。

因此如何平衡查询效率和业务理解?我们在后面的文章中再细细道来。

总线矩阵

总线矩阵,维护的是企业的各个业务过程与一致性维度的关系。是以企业的高度实现的顶层设计。它的存在对于数据中台项目至关重要。

如果数据中台的模型设计就是一本书,那么总线矩阵就是这本书的目录,能从整体上对每个模型有统一的定义。

从项目协调上看,总线矩阵在大型项目中起到举足轻重的地位,整个项目组都能基于这个目录清晰的明白自己在做什么,别人已经做了什么,极大程度上的避免了信息沟通不畅导致的重复定义。

从项目管理上看,也可以基于总线矩阵对模型设计和开发进行有效的优先级排期。

最后,总线矩阵是共同业务人员和技术人员的桥梁,通过总线矩阵在项目沟通中达成一致的语言。

D

结语
通过这篇文章,初浅的对数据中台模型设计发表了一些观点。

在后面的章节中,我们将继续围绕模型设计的技术细节、结合行业的模型设计案例,和数据同仁们做进一步的分享和交流 。


如您想加入199IT商业智能群,请加微信wendy199it

]]>
阿里云金融行业数字中台:金融机构需要的“航空母舰” //www.otias-ub.com/archives/1093336.html Fri, 31 Jul 2020 04:50:39 +0000 //www.otias-ub.com/?p=1093336
本文来源:阿里云数据中台数智化转型俱乐部 
作者:轻金融 作者 李静瑕
摘要2020将是中国金融行业数据中台建设元年。2020年2月至今,作为阿里云新金融“一号位”,刘伟光一共拜访了65家客户,深刻感受到了疫情倒逼金融机构加速线上化和数字化进程。让他感触更加深刻的,是收到多家大型银行关于“数据中台建设”的沟通需求和邀请。

与以往不同的是,这次数据中台建设的需求发起部门是银行的业务部门;而在以前,银行上马此类科技型项目通常由科技部门发起。

“这是一个很大的变化,意味着银行想把数据变成资产,应用在所有的业务流程当中,打通各种业务。”身为阿里云智能新金融事业部总经理的刘伟光说。

“中台”是阿里巴巴在2015年率先提出来的概念,历经多年内部实践之后,沉淀成为集方法论、工具、组织于一体的智能大数据体系。阿里巴巴于2018年正式通过阿里云对外开放“中台”,助力金融、零售、政务、互联网等行业数字化转型。

过去两年,中台大热,很多公司效仿阿里推出了各类中台。在金融行业,关于中台的争议也有升温:银行已经搭建了数据仓库、数据集市、数据湖、大数据平台等,再建数据中台是否存在重复建设?

7月30日,阿里云“2020数据中台高峰论坛”在西子湖畔举办,给众说纷纭的数据中台一个清晰的答案。

“我坚信2020将是中国金融行业数字中台建设元年。”在刘伟光看来,不仅是银行,包括保险和券商等金融机构都迫切需要建设数据中台。

待挖掘的数据宝藏

金融业流传着一种说法:金融机构之间的竞争越来越集中在数据上,即“数据为王”。但对于金融机构来说,该怎样才能把数据真正变成资产?

此前,包括银行在内的金融机构在数据挖掘上有过长时间探索。早在2001年3月,工行率先在银行业内建设数据仓库,以打破“信息孤岛”,掀起了一波为期十年的数据仓库建设的浪潮。

如今,数据中台已经成为了金融业的普遍共识。在银行业,包括农行、建行、招行等在内的大行都在向“数据”要生产力,沉淀数据、运营数据,使用数据;在保险行业,保险公司在寻找用人工智能等技术去简化与优化保险理赔、核保、出险过程;在资管行业,多家基金、信托、券商都寻求在数据中挖掘新机会,在新一轮的竞争当中破局。

事实上,银行、证券、保险等行业数据平台的建设周期和历史不比互联网行业时间短,在数据使用上,这些行业的机构基本上都积累了一定的经验。但由于历史原因,这些数据都分散在不同部门。

“数据宝藏在那儿,但却不知道如何挖掘。”一位银行科技部的高层对轻金融表示。

对各类金融机构来说,今天都面临这样一个挑战,即怎样把数据真正变成资产,因为数据资产是所有变革背后最重要的纽带。

金融机构该怎么办?答案是把数据进行打通,建立统一的数据中台。

“金融机构要通过中台把数据变成一个自由流动的资产,把数据智能等能力嵌入到业务流程之中,为每一位员工提供分析、预测和决策支持,而不是割裂在很多系统当中。”刘伟光表示。

也就是说,以后金融机构的业务团队也是数据科技团队。

“我坚信2020将是中国金融行业数字中台建设元年。”在刘伟光看来,不仅是银行,包括保险和券商等金融机构都迫切需要建设数据中台。

金融数据中台:让机构没有部门墙

一家位于上海的银行,零售业务非常突出,但是他们面临新的烦恼。

这家银行发现,行里到处都在做风控。跟蚂蚁、跟其他互联网公司合作的人在做二次风控,信用卡团队在做风控,自建场景、开放银行等团队也在做风控,面临着很多重复建设。

这家银行找到阿里云并提了一个需求,能不能全行建立一个统一的风控平台?

另一家大型的保险公司也发现,公司建了非常多的数据系统,也建了数据仓库,但却无法找到真正对寿险、财险交叉销售有帮助的真正数据资产。

其实,这样的例子非常多。重复性建设带来IT投资的浪潮,更严重是导致数据割裂、不能复用。有金融从业者估计,超过70%的数据价值没有被利用起来。

用刘伟光的话说,今天的金融数据还没有像自来水一样,能够自由的流到每一个角落。

在这样的背景下,数据中台的价值就凸显出来了,通过数据让企业没有部门墙,所有的业务可以共享数据。

为什么金融数据中台很重要?

因为数据中台是一个真正的金融机构全局视角的工程,强调数据能力高度复用、资产复用,站在用户视角,为每个业务提供数据资产级别的决策支撑。

在阿里云看来,中台是一个系统,包含了技术、方法论、组织建设,以及打破部门墙的文化建设,包含“一把手”驱动的文化。

“金融数据中台最重要的变化是把数据变成全行级,让所有的员工都能使用数据服务。这本身就是要打破机构的部门墙、数据墙。”刘伟光称。

但是在谈及数据中台的时候,与之对比甚至争议的是数据库、数据仓库、数据湖、数据集市等名词。

对此,阿里巴巴数字经济体数据专业委员会委员长朋新宇告诉轻金融,从管理决策权方面来说,企业构建数据仓库、数据湖等,为管理层提供决策为主;而数据中台的建立,则能够快速为一线前台员工进行服务决策。

数据中台能够激发出对业务需求的快速反应能力。当然,也必然意味着企业组织架构的调整,朝着敏捷时代进发。

那么,金融数据中台如何给金融机构带来业务价值?

有这样一个案例,可以更清晰的看到金融数据中台带来的价值。

某省级农信社以前信贷审批全靠人工,线上业务刚刚开展缺乏线上风控能力,营销筛选也靠人工,大数据平台则主要靠写代码操作,维护成本高,且存在指标口径不统一等难题。

阿里云为其提供了智能决策平台,综合农信社的业务偏好,建设了线上业务风控体系;使用智能决策平台引擎部署信贷全流程风控策略、模型,实现统一数据规范、统一口径、统一管理。

最终,该银行的智能贷款实现了实时信贷风控;信用卡刷卡消费实现实时营销,支持圈选目标客群进行定向营销。

让数据像水电一样伸手可得

“随时看到我想看的所有数据,随时调取,没有任何时间的延迟,这是数据服务的力量。”

在今天,阿里巴巴每个员工对数据就像“水”一样伸手可得,未来数据中台的建设会成为继数据仓库之后新一轮的建设高峰。

阿里云当前为金融机构提供的数据中台服务,正是阿里集团这些年沉淀下来的数据能力。

不过,阿里的数据中台建设也并非一蹴而就,有一个漫长的过程。

2013年,阿里实现数据存储计算平台统一,内部称为“登月”;

2012年~2014年这一阶段,阿里提出数据服务化,数据中台方法论这个时候被提出,并尝试落地;

2014年~2015年,阿里升级集团数据公共层,开启了集团数据建设与管理体系统一,这是基于电商体系的方法论升级与实践;

2015年~2017年,数据公共层升级到阿里系,更多多样业务的工具化升级实践;

2017年,基于阿里经济体,全面启动了集团中台战略,提出阿里经济体的数据中台建设。

目前,阿里数据中台具有两大优势,一是从工具到应用都更加全面;二是阿里真正做成过数据中台,一步步走过了跟银行、证券等金融机构一模一样的路,最后走到数据中台。

对于金融机构而言,阿里云金融数据中台核心价值有四个,其中两个是降本和提效,另外两个价值则是阿里云独有的——实现业务增长和组织升级。

朋新宇告诉轻金融,阿里云当前为金融机构提供的数据中台服务,正是阿里集团这些年沉淀下来的数据能力。阿里云把自身在数据中台建设过程中积累的好的方法、好的产品模块,最终沉淀成了多款产品,即“两横两纵”,构成了数据中台的核心组建能力。

一方面,数据采集、数据管理成为阿里云横向的数据平台的核心能力;另一方面,阿里云不仅把业界经常流行的问题研发成一套独特的分析方法、框架和模型,还较好兼顾了运营与洞察能力。

今年6月,阿里云宣布数据中台已经深度联合蚂蚁生态,为金融机构,提供理财业务“线上用户增长”、整体的数字化运营解决方案,这也是市场看重的优势。

在沉淀上述能力之后,阿里云还在推动企业数字化升级,推出基于数据中台业务模式的解决方案和云上数据中台的赋能业务。

阿里云正在做的事情,是把中台项目背后的产品真正变成一个通用的商品,能让客户在阿里云的平台上快速地实现从1到N的复制。

当然,金融机构在厘清数据中台的同时,更要理清自身的需求,如果简单跟风模仿,“为中台而中台”,那么中台的价值是难以实现的。

结语

很多人问刘伟光,提到数据中台,在他脑海中会浮现什么形象?刘伟光想到的第一个形象就是超级航空母舰。

“航空母舰上面有飞机维修、加油、供给等很多职能,数据中台就像航空母舰一样,是输送炮弹、输送能力的平台。”

当然,就像航空母舰需要不断维护与升级一样,中台建设也不能一劳永逸,而是需要不断迭代,提升与业务不断融合的能力。

最终,真正的中台不是一个外挂在核心系统之外的数据平台,而是将数据能力嵌入到每一个业务流程中的智能大数据体系。


如您对商业智能,数智化转型感兴趣,请加微信:wendy199it

]]>
阿里云推出金融数据中台 助力金融机构数智化转型 //www.otias-ub.com/archives/1093338.html Fri, 31 Jul 2020 04:42:55 +0000 //www.otias-ub.com/?p=1093338

欢迎关注公众号:数智化转型俱乐部

7月30日,在杭州召开的数据中台高峰论坛上,阿里云宣布正式推出金融级数据中台,助力金融机构构建全方位数据资产化的整体方案,从数据和组织变革的层面加速数字化转型升级。

据介绍,阿里云金融数据中台是集方法论、工具、组织于一体的智能大数据体系,能够帮助银行、保险、证券等金融机构把数据智能等能力嵌入到业务流程之中,赋能组织和员工,进而实现金融业务增长和创新,让数据以资产化的方式为业务的增长而赋能,从而加速整体数智化转型进程。

在具体实践中,阿里云金融数据中台通过联动蚂蚁集团的生态,帮助金融机构实现业务增长;通过丰富的工具和产品,实现金融机构数据仓库、大数据平台的迁移与融合,在搭建底层数据处理技术能力的同时叠加数据应用和数据研发以及数据智能的能力,让数据处理技术和数据应用技术融为一体;通过专属的安全和加密技术,保障金融机构内部合规、安全地在授权范围内使用数据。

“金融数据中台打破了金融机构的部门墙、数据墙,让数据真正变成全局性资产,并让所有员工都能在工作中基于数据智能进行分析,预测以及决策。”阿里云新金融事业部总经理刘伟光表示,金融数据中台将触动金融机构自顶向下的组织变革,它将扮演“航空母舰”的角色,为业务和科技的融合创新提供强大的动力和支撑。

据了解,以往银行、保险等金融机构的科技部门为支撑各业务部门运营,构建了数据仓库、数据集市、大数据平台等技术体系,在当时的技术条件和业务发展情况下,对金融业务发展提供了有力的支撑,但是在面临金融互联网时代到来和开放金融的巨变环境下,这些系统建设的短板也逐渐显露,出现数据割裂、难复用,使用难等问题,不能在今天发挥对业务更大的价值,无法让数据向水和电一样唾手可得以及在安全环境下的自由流动。

鉴于此,2015 年阿里巴巴在国内率先提出数据中台概念,历经内部复杂场景的实践后,阿里巴巴于2018 年正式通过阿里云全面对外开放数据中台能力,加速企业实现数智化转型,迄今已在金融、零售、政务、互联网等行业成功落地。


如您对商业智能,数智化转型感兴趣,请加微信:wendy199it

]]>
数据中台的前世今生 :带你全面了解阿里巴巴做数据中台的历史 //www.otias-ub.com/archives/1092683.html Thu, 30 Jul 2020 05:06:09 +0000 //www.otias-ub.com/?p=1092683 本文来源:数智化转型俱乐部

数据中台自14年至今,已然成为了2B、2G业务最热门的话题,政府机构、企事业单位、互联网公司等进行着数字化、数据化、智能化转型。市场普遍认为,阿里巴巴将自身数据中台建设能力对外赋能是拉起本轮数据中台浪潮的根本所在。

本文将带你全面了解阿里巴巴做数据中台的历史。

1

缘起

在2014年以前,阿里巴巴有很多条业务线,都有自己的ETL团队,每个ETL团队建设和维护自己的数据体系。当时许多人认为,这种自下而上的自给自足能够最高效地满足业务需求。也因此,各个ETL团队之间缺乏相互信任,也缺乏最大化互通的可能性。

即便在2020年的很多公司,这种现象也普通存在。不同部门、不同业务、不同系统之间都有自己单独的ETL处理体系,每个ETL体系只关注与自己垂直业务相关的需求,并从底向上完整支撑业务体系。这种情况的出现,大多是由于业务发展迅速,为了快速低成本的满足业务数据需求,单独拉出数据支撑团队造成的。

对于当时的阿里巴巴而言,这种分散数据处理体系带来了很多问题。以日志采集数据为例,就同时存在若干份数据:淘宝数据基础层、广告数据基础层、搜索数据基础层各有一份日志数据,不仅直接耗费了非常多的存储资源,更重要的是扼杀了数据中间层和数据应用层等复用的可能性。

图2014年以前阿里巴巴分业务自建数据体系的抽象图

下图展示的是2014年以前,阿里巴巴各个数据团队建设的数据任务关系图。每个圆形代表着一条业务线的数据任务集合,任意两个圆形之间的连线代表着两者的关系。由此可见:数据处理流向是混乱的、无方向性的;数据管理是无序的,基本处于失控状态;除了浪费研发资源和存储资源,也必然满足不了业务需求。

图阿里巴巴数据公共层建设之初计算环境1上的数据任务关系图

业务猛烈发展与数据支撑能力不匹配产生了巨大的矛盾,也促使阿里巴巴内部开始进行数据公共层的建设,数据公共层旨在可持续地建设阿里巴巴智能大数据体系。

2

发展

从零散的数据到统一的数据

从2014年起,阿里巴巴启动数据公共层建设项目,以OneData体系特别是方法论为指导。

数据公共层建设初期是为了消除因”烟囱式”开发给业务带来的困扰和技术上的浪费。而OneData体系是保障和推进项目建设的关键。OneData体系一方面致力于数据标准的统一,另一方面追求让数据变为资产而非成本。OneData体系除了方法论,还包含工具型产品、规范等,具体体现为:数据规范定义、数据模型定义、模型智能化设计、规范ETL开发、落实数据规范和模型定义的研发工具、对于整个体系的自动化调优和监控。

通过建设统一的ODS数据基础层,建设基于业务应用或需求来源端的抽象数据逻辑层来丰富数据中间层,允许数据应用层的百花齐放来打造阿里巴巴数据公共层。从而将零散的数据变为统一的数据。

从数据孤岛到数据融通

在业务突飞猛进发展过程中,不同的事业部、业务条线会为了快速实现需求,数据单独定义、存储、使用,从客观性来讲,每个发展壮大的企事业单位都避免不了数据孤岛的产生。数据孤岛不仅包含物理孤岛(独立存储、维护、使用),而且包含逻辑孤岛(定义不一致、计算逻辑不一致)。

阿里巴巴创新性的创建OneID体系,将所有业务范围(电商、金融、广告、物流、文化、教育、娱乐、设备、社交等)中的人、货、场、物、钱等实体打通,解决体系内逻辑性数据孤岛问题。在阿里云的强力支撑下,集团内所有隔离数据进行统一的存储和管理,解决体系内物理孤岛问题。

从数据孤岛到数据融通,使得数据拥有创造价值的可能性。

从授人以鱼到授人以渔

从以定制化开发的方式将数据交付到业务人员,到基于数据规范但需要配置,再到全链路数据打通,直到主题式服务,阿里巴巴一次次努力追求的正式从授人以鱼到授人以渔。

2012年前后,服务于1688有超过300多个API,梳理后发现这些API之间无法整合,因为每个API只服务于一个业务应用而不能被共享,API应用的数据应用层数据表也不能被共享。

从2012年至2016年,阿里巴巴通过OneService体系将API数据服务从物理表SQL模式升级至面向主体查询逻辑模型的SQL模型,大大提升了系统的可用性,也使得数据中台面向业务人员使用变成了现实,达到了授人以渔的目标。

3
从数据成本到数据价值

对于大部分企业来说,业务系统创造的数据不仅需要占据大部分的存储空间,而且还需要技术人员持续维护,是一笔不小的成本开支。

阿里巴巴致力于将数据从成本中心变为资产中心,在业务数据化与数据业务化两大方向,数据赋能业务、驱动创新四大业务场景上取得了丰硕的成功。

数据中台赋能业务、驱动创新的四大典型场景包含:全局数据监控、数据化运营、数据植入业务、数据业务化。

全局数据监控,如战略决策的智能方案:最大限度降低数据分析的难度,最大程度提高数据分析效果,同时不动声色中传递品牌价值,以高效优质地辅助战略决策和数据化运营。

图双十一数据大屏&银泰互动大屏

数据化运营,如用户管理的智能方案:基于全链路全渠道的数据构建、数据连接与萃取管理体系,对用户进行全生命周期的精细化管理(如智能CRM)。

2017年热播的一部电视剧,该电视剧在优酷土豆独家播放十天,播放量就突破了60亿次,属于”现象级IP”。但这样的”现象级IP”并不是偶然产生的,除资本投入因素外,数据化运营在其中发挥了巨大的作用。

事前通过舆情分析锁定IP,及时独立采购IP;事中实时监控流量变化、播放情况,及时调整流量入口,有针对性的推送用户;事后,及时总结和复盘,进行用户沉淀,挖掘相似内容,形成闭环。

数据植入业务:智能图像鉴别,智能客服。

通过数据模型算法,将图像鉴别从手工变为自动化,节省95%以上工作量。

图数据智能植入业务系统

数据业务化,如零售管理的智能方案:规避传统零售的松散式管理,将库存、定价、补货、销售等统一协同,整体提升线上线下零售体验和效果(如生意参谋)。

4

集大成

到今天为止,阿里云数据中台体系(Dataphin、QuickBI、QuickAudience)经历了阿里几乎所有业务的考验,包含新零售、金融、物流、营销、旅游、健康、大文娱、社交领域。在此过程中,云上数据中台除了形成自己的内核能力外,更向上”赋能业务前台”、向下与”统一计算后台”连接并与之融为一体,形成云上数据中台业务模式。

同时,阿里巴巴从2018开始,将自身的数据中台能力向外输出赋能,对社会创造更多价值。


如您对商业智能,数智化转型感兴趣,请加微信:wendy199it

]]>
阿里云数据中台产品设计逻辑:体系化矩阵类数据产品的设计构思 //www.otias-ub.com/archives/1090663.html Mon, 27 Jul 2020 07:13:04 +0000 //www.otias-ub.com/?p=1090663 本文来源:数智化转型俱乐部

摘要

当前,整个社会都处在产业升级和数字化转型的大浪潮中,如何在新的商业环境下,运用设计的方式,发挥设计的驱动力,助力整个数据产业的创新升级,是数据设计师们最核心的课题下图是我们在阿里云上可以看到的当前“阿里云数据中台”核心矩阵中的数据产品。这些数据产品分别通过输出阿里巴巴的数据智能能力,面向云上企业、用户,破解数据采集、建设、管理及应用等课题。

在对这些体系化矩阵类数据产品的设计构思中,来自阿里的数据设计师的都会遇到哪些设计难题,又如何解题呢?

1
体验架构构建:数据管理

阿里巴巴通过数据服务上云,目标是帮助政府、企业等用户合理便捷地管理数据,让数据为企业创造商业价值。

这类产品拥有海量的功能模块,错综复杂的交互流程,以及普通用户无法理解的强数据技术背景,用户体验正是其最佳的定义方式。

从商业竞争研究、业务链路梳理、场景化体验架构构建,再到产品的落地与售卖传播,设计师在这一环扮演着“商业规划师”的角色。

这里提到的“体验架构=体验流程+信息架构”,如何去构建产品的体验架构呢?

体验链路构建根据产品战略、行业竞争力优势及业务目标,全链路的定义产品分模块及体验关键触点。

信息框架设定:运用场景化及结构化解构思维,根据多角色需求,抽离用户多角色使用场景、提炼使用行为链路,设计师要真正站在用户的视角看问题,运用同理心,层层递进的剥丝抽茧,逐层架构产品信息框架。

信息过载解构出现产品级、页面级、功能级信息冗余时,为了减少对用户造成误导的情况,可以从场景层、信息层、逻辑层进行解构。

(Dataphin 体验架构构建案例)

2
可视化呈现:数据演绎

传统的数据表呈现方式无法跟上数据时代的脚步。

我们期望让数据开口说话,用最直观简洁的可视化语言展现商业背后的故事。从构建业务目标,设计故事版,抽离符号,典型用户分析,用户需求收集,到最后的可视化设计呈现,设计师为用户规划了洞察业务、经营决策的分析动线和场景化体验。

Dataphin中,为满足企业主看企业数据、技术看业务关联及数据资产情况。“数据资产全景”以可视化的方式进行呈现,根据用户关注点及场景,设计师定义了从“全局>流程>结构”三种视图,从全局到细节,满足用户多维监控探索的需求。

3
从数据智能到商业智能:数据增值

1.工具化设计

BI工具可以满足用户从数据处理,数据查看,数据分析到数据洞察的全链路分析需求,并用最直观的可视化方式进行商业的探索。

设计中,可视化图表的丰富、易搭建,工具的易操作,产品的多维分析能力都非常重要。设计师需要从可视化分析、工具化体验等不同维度进行方法体系深耕,用专业性说话,让产品具有丰富的工具配置能力、深度的工具洞察能力,才能帮助产品更稳定成熟的迭代,建立行业竞争力。

(Quick BI 可视化组件模型及工具框架搭建)

2.智能化设计

如果说BI工具的工具化能力是产品的基础能力,智能化能力则是产品加在行业竞争力上的砝码。Gartner 2019发布的魔力象限报告中指出,通过人工智能、机器学习等技术实现的增强分析已是BI产品发展的最重要、也是最显著的趋势之一。

如何用体验赋能数据智能,如何以全链路的视角打造闭环的用户体验?

行业竞争研究了解行业产品布局,挖掘竞争力优势。

可行性挖掘与技术共建,多思维碰撞,了解知识图谱,自然语言理解,意图识别等最前沿的人工智能算法技术,全流程思考,不断挖掘设计可行性,设计赋能业务。

专业规则定义:辅助定义用户分析意图,可视化匹配规则、NLP交互规则,多轮对话逻辑,兜底问答逻辑等,做专业性定义。

设计师运用自己的专业能力,赋能打造低使用成本、轻松问、精准答的数据智能小助理,驱动产品从数据智能到商业智能的进程。

4
度量标准:软性评估
从2018年初始至今,云上产品矩阵生态初步形成,当前整个云上产品矩阵处在成长期-初创期及成熟期之间。该阶段产品小步快跑,快速迭代,不停歇的补齐有竞争力的产品功能。我们尚无法拿到成熟的使用数据指标,那如何度量产品是否健康的进行着商业化呢?

生命周期评估产品上线后,记录功能的生命周期,不容易被更新或被替代,代表生命周期长,反之短。生命周期短会造成大把的研发投入被荒废,设计结果不尽人意。- 评估可用性

用户反馈评估新功能上线后,收集用户已有功能建议及无法满足的需求,记录反哺产品需求,辅助产品迭代。-辅助迭

续签率评估随着用户对产品的熟识,商业化营收续签率增长,说明用户对产品接受度较高,对产品产生正向影响。- 评估商业化健康度

我们暂时把这几种度量方法定义为软性评估,更适用于B端成长期的产品,帮助产品节省研发成本的同时进行稳定迭代。

小结在大数据时代,数据服务的产品化上云步伐不停继续,前路任重而道远。作为数据设计师们,需要不断突破设计师的限制,从多角度思考,运用设计的专业能力在产品中发挥更多的主观能动性,打造强有力的行业竞争力,同时定义可传承可复制的数据产品设计模式,长远赋能整个数据行业。


如您想加入199IT商业智能群,请加微信wendy199it

]]>