起源于20世纪90年代的大数据现已成为互联网应用的核心技术,其重要性不言而喻。
在2019年上海阿里云峰会上,阿里巴巴云智能总裁张剑锋在解读整体云趋势时提到了飞天云操作系统,飞天大数据平台,阿里巴巴双中平台和智泰AioT四个王牌。
其中,飞天大数据平台建立在计算,存储,网络等基础设施之上,为企事业单位提供数字化,智能化的能力。例如,在城市交通中,基于大数据和人工智能控制交通灯。它可以有效缓解拥塞指数;使用大数据技术可以改变传统的制造工艺,实现产量的提高。
据报道,飞天大数据平台已成为中国最大的计算平台,可扩展到100,000个计算集群,单日数据处理能力超过600PB。
阿基里斯在大数据早期的黑客攻击
如果数据是石油的新时代,那么大数据就是石油开采和石油加工的集合,这是当今最先进的技术之一。
但在AIOT时代,数据挖掘和处理能力远远落后于数据增长的步伐。着名的研究机构Gartner预测到2025年将有416亿个物联网设备,产量为79.4ZB(1ZB相当于1万亿GB)。
要分析和处理如此大规模的数据,背后需要强大的计算平台支持,如谷歌,AWS,微软等硅谷巨头纷纷投入大数据技术的开发,但掌握核心技术,开放源码Hadoop已经成为大数据时代的宠儿,直到今天,世界上大多数公司都在构建基于开源Hadoop的大数据平台。
虽然这是公司获取大数据的最快方式,但这种方法存在自然的性能缺陷,而且面对大规模数据,性能也被拉长,而大规模数据被认为是Hadoop平台的首选。据报道,开源大数据平台的集群规模很难突破10,000台服务器(相当于将10,000台服务器连接到一台计算机上)。
早在十年前,以双11为代表的大规模交通场景已经触及了Hadoop的上限;在未来,由AIOT领导的一体化智能时代,企业自然需要一个性能更强的大数据平台。
场景驱动,阿里巴巴云克服了大数据计算的瓶颈
客观地说,云计算,大数据,人工智能和其他尖端技术都是应用驱动技术,这也是阿里巴巴能够在大数据领域进入世界顶级阵营的主要原因。
早在十年前,阿里巴巴就比其他公司更早地遇到互联网规模带来的挑战。那时,淘宝网的用户数量急剧增加,几乎达到了底层计算平台的极限,而构建更强大的大数据平台迫在眉睫。
在开源与自学之间,阿里选择了后者,开启了中国第一个大数据平台(Flying Big Data Platform)的开发,并统一了阿里巴巴的内部数据和大数据计算系统。当时,阿里巴巴云总裁王健表示,从策略上讲,阿里云想要做的事实上可以解释为亚马逊+谷歌等。这足以证明阿里巴巴云投资大数据技术的决心是显而易见的。
经过多年在阿里巴巴集团的实践,大数据平台克服了多项技术挑战:例如,不同的数据源可以以类似的方式存储,以统一的方式计算,提供标准化语言以快速实现不同类型。数据计算;使用交互式查询解决海量数据查询的瓶颈慢,系统可以预测用户将做哪些查询,提前做好准备,大大减少大规模数据查询的时间。
与此同时,它还创造了多项世界纪录:2013年8月15日,阿里云在历史上突破了同一集群中同时计算5000台服务器的局限性;在2015年和2016年,阿里巴巴云更新了世界计算机奥林匹克运动会的六项世界纪录;在2017年,完成了世界上第一个基于公共云的100TB BigBench大数据基准测试。
目前,飞天数据网平台可以承载EB级数据存储容量和100 PB的一天数据处理能力,支持阿里巴巴集团99%的内部数据存储和95%的计算能力。它是目前中国最大的计算平台。张剑锋举了一个例子。淘宝和天猫拥有超过1000万家商店,每天有3亿人次访问。很少有公司能够实现如此大规模的实时计算。这就是阿里巴巴积累了这么多天大数据平台的方式。结果。
数据显示,在超小型10TB规模上,飞行数据平台的性能是开源产品的三倍以上。
开始于Ali,Pratt&Whitney,各行各业
随着大数据深入到各行各业,如何处理和利用数据,释放数据价值,实现企业数字化转型是各行业企业的核心问题。
企业在构建自己的大数据系统时经常遇到很多问题。例如,膨胀的技术堆栈导致高阈值和高系统维护成本,并且难以保证数据质量。
在过去的几年里,飞天大数据平台的技术效应已经泛滥。它已广泛应用于电子商务,工业,医疗,农业,气象,教育等许多行业,帮助成千上万的企业以更低的成本和更高的效率进行计算。为社会和消费者服务的海量数据。
在交通运输领域,城市大脑指挥着杭州的1300个交通灯和200多个交警。从2016年到2018年,杭州从全国最拥挤的城市名单中减少了52个。
在工业领域,阿里巴巴云的大数据处理技术帮助制造企业找到数千个参数的最佳组合,并提高制造产量。 GCL Solar和天合光能等领先企业正在尝试这种新的生产模式。在政务领域,浙江贯穿大数据处理平台,最多开放政务数据。收集与人民事务密切相关的100多项事项的70多亿条数据,按统一标准导入统一数据仓库,实现共享共享。普通人不仅可以运行一次,甚至可以不运行一次。在海外,飞行数据平台也进入了新加坡和欧洲等市场,大规模计算已经为全球消费者服务。