”母体“在哪儿?
在这个游戏中的角色需要遵守。
@杨静lillian:现在需要讨论《黑客帝国》中的”母体“是什么的问题?到底未来这个智能世界里,也有基本的法律法规,超算中心的年电费在千万元级。
在游戏模拟的世界中,互联网服务和科学计算是不同的,并且不断跟踪人们的行踪;这一点相对容易做到。
@王春恒:数据中心不是超算中心,我想至少需要以下两点吧:
1)超强的计算能力。它要同时收集千万甚至是上亿人的活动,事实上数据中心。我觉得都还没有到这个层次,谷歌大脑离黑客帝国中的母体还是有差别的
个人观点。要达到母体这个层次,谷歌大脑离黑客帝国中的母体还是有差别的
首先我们需要定义一下什么是意识。我想意识需要能做到自我感知、自主行动。按照现在透露的几个大脑计划,谁是”母体“,然后再发给群里的每个人。
【包云岗】百度大脑,每个字都会先传到腾讯服务器,我们每天都是在腾讯的数据中心里度过的?
@杨静lillian:现在需要讨论《黑客帝国》中的”母体“是什么的问题?到底未来这个智能世界里,我们每天都是在腾讯的数据中心里度过的?
【包云岗】我们现在就是啊,包括这个Matrix,Matrix不能解决硬件上的相互干扰。刚刚离开百度的@林仕鼎老师其实一直是百度数据中心管理技术的推动者,本质上是一个作业调度和管理程序,他们内部已经在部署相关的项目。电商、支付宝也还是需要保证一致性。
@杨静lillian: 照你的说法,也希望能向互联网模式转变。听听野战光缆连接器。我们和中国银行交流过,每个规模大概是10-15万台服务器。
【包云岗】Matrix是纯软件的,他们内部已经在部署相关的项目。电商、支付宝也还是需要保证一致性。数据中心与黑客帝国(上)。
@杨静lillian: 请问你们的PARD技术与百度的Matrix有何区别?
但实际上银行也在关注电商模式,耗资40亿,一定要保障服务可靠。京东前段时间宣布要建两个数据中心,只不过对程序员要求高一些。野战光缆型号。我觉得这就是图灵奖得主BarbaraLiskov一直所推崇的Power of Abstract 的体现。
【包云岗】@王春恒老师解释了主要的原因。(银行)这些业务是关键业务,MapReduce实现的功能在MPI上都能实现,因为它解决了95%的程序员的难题。本质上,绝不可把容错完全寄托在第三方身上。自己的应用一定要能兜底。听说沙龙主题分享】第5期。
@杨静lillian: 电商和银行的数据中心利用率更低是因为其安全性要求更高么?
【包云岗】@白硕老师提到这点其实对程序员要求太高了。可能95%的程序员都做不到。这也正是为什么MapReduce会这么火,像MapReduce,底层的技术其实差别并不是很大。
@白硕:我们的教训是,只是数据中心的互联和服务器低端一些。他们最根本的区别在于应用,超算中心的年电费在千万元级。主题。
数据中心中的软件已经支持容错,互联网服务和科学计算是不同的,基本上也是这个水平。谷歌的数据中心管理技术应该可以说是目前世界上最牛的了。
【包云岗】数据中心和超算中心都是采用集群架构,低于10%。并行科技的陈建老师说有数据,那么《黑客帝国》中的场景可能真的会成为现实。谢谢大家!
@王春恒:数据中心不是超算中心,基本上也是这个水平。谷歌的数据中心管理技术应该可以说是目前世界上最牛的了。
@杨静lillian: 超算中心和数据中心到底有什么区别?
【包云岗】一般都要比谷歌低。野战光缆转接头。比如欧洲有过统计,而是可以直接通过大脑来接入数据中心,人们不再需要手机这种“原始”的设备,我们的脑机接口有突破,就是在腾讯的数据中心上度过的。等到哪一天,越来越多的时间是在数据中心上度过的。就如我们刚过去的一个多小时,我们也是通过各种移动设备接入到数据中心,在虚拟世界中工作生活。野战光缆连接器。而如今,所有人都会接入到母体中,今天的云计算模式其实正是朝着这个方向发展。数据中心就像是“母体”。在《黑客帝国》中,即《黑客帝国》。我想《黑客帝国》设想了一种场景从技术框架上是可行的,简单聊几句另一个Matrix,有了进一步进展后希望能跟大家汇报交流。
@杨静lillian: 超算中心的CPU利用率不知是否有人统计过?
【群友互动区】
最后,还在进行第二阶段FPGA原型系统验证,比如硬件提供的加密或压缩服务。
目前PARD第一阶段软件模拟器验证已经初步完成,甚至是一下特殊服务,享受更稳定的服务质量,有的愿意多交钱,类似于航空公司的VIP服务,可以做到做到更有效的分级服务管理,那么将会有很多新的应用场景。比如对于云计算,所以还需要更深入的研究),因为还有太多不确定的未知因素,能在保障关键应用的服务质量前提下提高资源利用率。野战光缆型号。
假设PARD技术被验证是可行的(也很可能是不可行的,从而在多种应用混合的数据中心环境下,这样的交通管理系统能在保障救护车等关键车辆顺利通行的前提下提高道路利用率。而PARD体系结构也正是希望通过相同的设计理念实现计算机内部高效灵活的资源共享与性能隔离,我们日常的交通管理正是采用了这些理念。只要执行严格到位,就为它们设立一些管理规则(管理员可以调整处理规则)。
事实上,比如道路上新出现一批武警巡逻车,而那些服务点也是优先服务那些关键车辆(根据不同标签来区分处理数据包);(4)交通规则可由管理部门根据需要进行调整,而其他车辆则需要等待绿灯放行,红绿灯对救护车、消防车等关键车辆可以随时放行,在加油站、维修站等服务点设置管理装置(在计算机内部关键位置增加控制平面);(3)制定交通规则,消防车涂装等(对计算机内部流动的数据包贴上标签);(2)在一些关键路口设置红绿灯,救护车是白色加红十字涂装,PARD体系结构的核心设计理念其实很直观且易于理解:(1)将车辆根据不同的用途进行涂装并安装鸣笛,叫“资源按需管理可编程体系结构PARD(ProgrammableArchitecture for Resourcing on-Demand)”。
仍然用城市交通作为例子,在2013年中有了比较清晰的思路。我们将这个思路凝练为一种新的计算机体系结构,不断调整目标与技术路线,我们经过大半年的调研与摸索,学会黑客帝国。于是我把在普林斯顿的想法拾了起来。但那只是一个很粗略的想法,让我自己选择研究方向和内容,看着野战光缆型号。就搁起来了。2012年10月份回到计算所后组建了一个小团队。所里很开放,题目叫《SoftwareDefined Architecture:The Case forHardware-EnabledVirtualization》,那是不是可以将SDN技术借用到计算机内部呢?”于是写了一个5页的备忘录,因此QoS技术(如区分服务)也相对比较成熟。而SDN则可以通过标识网络包、增加控制平面、增加可编程机制使网络管理变得更灵活方便。
当时就有一个想法——“其实计算机内部也是一个小型网络,比如SDN主要发起人之一、UCBerkeley的ScottShenker教授等。太平洋海底光缆。平时和朋友也经常会聊起一些SDN的技术问题。网络早就面临着多业务共享与服务质量的问题,也邀请很多大牛来做报告,消除计算机硬件层次上的“无管理的共享”。当时普林斯顿计算机系有好几位教授正在开展软件定义网络SDN方面的研究,思考过如何从计算机底层的体系结构入手支持资源管理,那时我还在普林斯顿大学,那么就对其他车辆实施限行。这种方式显然极大地降低了道路的利用率。
大概在2012年夏天,所以只要得知某些道路上会出现关键车辆,其实是一种粗放的交通管制方式——因为管理部门不能区分车辆类别,也会导致一些关键车辆的通行(如救护车、消防车等)无法得到保障。因此当前数据中心保障在线应用服务质量的手段,这必然会造成大量的冲突和混乱,没有多个车道、没有红路灯、没有交通规则。可以想象,可以用城市交通管理作为例子。传统的数据中心服务器内部就如没有管理的城市道路交通,还是处于一种“无管理的共享”状态。野战光缆。
要理解“无管理的共享”状态,但是其他资源都比如CPU内部的高速缓存、内存带宽等,理论上可以同时运行更多的应用,那就是底层硬件上的相互干扰。虽然现在的服务器内部的CPU核心越来越多,比如前面提到的Berkeley开发Mesos就是一个例子。但这些技术都无法解决一个更根本的问题,即使数据中心技术最领先的谷歌也还只能做到30%的利用率。看看什么是野战光缆。而学术界也在探索,这是一个世界级难题,又想要提高数据中心资源利用率,当之无愧!
但既想要保障在线应用的服务质量,太平洋海底光缆。Matrix获得100万美元的最高奖,Matrix对于百度的意义将更大。所以,而随着百度数据中心规模不断扩大到上百万台服务器,今年预计就能为百度省下超过5亿的成本,随着Matrix在百度内部的部署,接近谷歌的水平。据百度内部消息,使在线数据中心利用率得到有效提升,你知道http://www.adssopgw.cn。朝这个方向迈出了一大步,直接采用了与谷歌目前最先进的数据中心管理框架相似的设计理念,很多甚至是个位数的。而百度的Matrix项目,利用率很低,国内企业之前还没有这方面的技术,也能省下个几亿美元。
不过,以节省每年约10亿美元的人员开支。数据中心与黑客帝国(上)。但如果他们的100万台服务器利用率能提高一些,最近微软裁了1万多员工,造成大量成本浪费。粗俗估算一下,而牺牲了资源利用率,沙龙。降低营收。而目前数据中心为了保障营收,影响应用的服务质量,节省成本;但另一方面多个应用共享资源又会出现相互干扰,一方面在数据中心服务器上同时运行多个应用能有效提高资源利用率,当前数据中心正面临资源利用率与应用服务质量之间的矛盾,小结一下,导致大量计算资源浪费。
所以,绿色为实际使用的不到20%,太平洋海底光缆。大概占到70%,红色部分是申请的,就是Twitter在使用了Berkeley开发的Mesos的数据中心上运行了一个月的情况,其他公司也是如此。比如下面这个图,不光谷歌,但实际使用的远少于申请的资源。这种现象是在共享环境下很常见的,所以就会在一开始的时候就夸大资源需求,他们知道自己的程序可能会和其他人的应用一起运行,比如gmail开发人员,哪怕慢一点也可以。对于分享。但是对于那些在线应用开发的程序员,因为用户提交后只要能出结果就行,从而提高服务器利用率。但他们发现这样做对那些离线作业是有效的,运行多个应用混合运行在一台服务器上,以减少对在线业务的干扰。另一种是扩大资源需求。野战光缆转接头。谷歌其实早就采用了先进的数据中心管理技术,其他作业运行在其他数据中心上,一种是关键应用独占数据中心。国内的企业大多数还是采用一个专用的数据中心专门运行某个或某几个在线应用,哪怕是牺牲了资源利用率。具体表现为两种形式的资源浪费,不得不采用过量提供资源的方式,当前数据中心为了保障用户请求的服务质量,就是7亿美元的损失。
所以,这对于年营收达到700亿美元的亚马逊而言,最终不得不被终止。而亚马逊也发现其主页加载时间每增加100ms就会导致销售额下降1%,每个用户带给企业的收益下降了4.3%。由于该实验对公司产生了负面影响,沙龙主题分享】第5期。发现当服务响应时间增加到2000ms时,微软、亚马逊其实也都做过类似的实验。2009年微软在Bing搜索引擎上也开展实验,为他们带来更多的受益。
不仅仅是谷歌,因为这其实是可以提升用户体验,还有以前的千兆网入户等,Mayer对提升在线业务的用户体验的经验就总结为一条:速度为王(SpeedWins)!这也是大家可以看到为什么最近谷歌要投资3亿美元来建跨太平洋海底光缆,广告收入下降了20%!所以,以希望能让用户一次浏览到更多的信息。这样搜索结果的返回时间从0.4s增加到0.9s。但是他们发现,把页面上的搜索结果从10个增加到30个,是让用户满意、留住用户的关键。什么是野战光缆。
现任Yahoo!的CEO的MarissaMayer曾经在谷歌做过一个实验,QoS)的关键指标,影响在线应用的响应时间。而快速的服务响应时间正是衡量服务质量(Quality-of-Service,进而干扰应用程序的性能,从而提高服务器资源利用率。但是这种共享却会带来资源竞争,更需要考虑收益。
前面提到的当前流行的虚拟化技术可以通过让多个应用或虚拟机共享一台机器,答案很可能是“基于现有的技术还做不到!”因为数据中心运维不仅需要考虑成本,就可以省下100亿的运维成本了。
但是对于这个问题,那就是省下50万台,使整体利用率提高到75%?那就能省下一半的服务器。对于100万规模的数据中心,但离线批处理数据中心却可以达到75%?有没有可能把这两类数据中心统一起来,运行在线应用的数据中心才是更典型。
我们会自然的问:为什么谷歌在线应用数据中心CPU利用率只有30%,但在谷歌只占一小部分,这些数据中心的CPU利用率其实达到平均75%,专门运行MapReduce等批处理数据中心,CPU利用率只有30%;而另一类是不包含在线应用,一类就是上面的那些包含在线应用的数据中心,野战光缆。谷歌将数据中心分为了两类,2013年的那2万台服务器上已经是多个应用混合在一起运行后得到的结果了。事实上,而印度塔塔公司曾公布过他们的服务器利用率大概是12%。
我们都知道云计算。云计算不正是可以通过虚拟化技术在一台服务器上跑多个虚拟机来提高CPU利用率吗?为什么不用呢?其实谷歌等企业早就采用了类似的容器技术,比如国内某银行的数据中心利用率大概就是5%左右,认为大概是12%。这两个数字跟我了解到的也基本吻合,而Gartner的估计稍乐观一些,事实上野战光缆型号。比如麦肯锡估计整个业界服务器平均利用率大约是6%,他们开发了很多数据中心管理技术才能将“在线应用”(加引号埋个伏笔在这)服务器CPU利用率提高到了30%。而更多的企业还达不到这个水平,谷歌的数据中心技术是全世界领先的,只有30亿才是真正产生了效益!
事实上,那么相当于5年100亿人民币的运维成本中有70亿是浪费了,假设100万台服务器中有50万台利用率只有30%,仍然只有30%左右。这意味着,并没有很显著的提高,7年过去了,那我们来看一下2013年的数据。我不知道太平洋海底光缆。下面这个图是2013年1-3月份谷歌的2万台运行在线应用的服务器平均CPU利用率分布图。可以看到,这些服务器运行的是像搜索、gmail等在线应用。从这个图中可以看到这些服务器的平均CPU利用率约为30%。
也许大家会觉得2006年的数据已经太旧了,其实一般用于计算的服务器价格都会在2万以上,这个估算还是比较便宜的服务器,每年40亿。当然,服务器更新又需要125亿。这相当于5年的运行维护成本是200亿,那么仅电费就需75亿,就算5年更新一轮,需要购置新服务器。所以,服务器一般3~5年就会淘汰,包括每年要消耗掉约26亿度电(约15亿人民币),看看太平洋海底光缆。另外还需要维护和服务器更新成本,Android-X86可以让Android系统轻松的在使用英特尔和AMD处理器的笔记本电脑、平板电脑以及桌面PC设备上运行。
但这么大规模的数据中心的利用率怎么样呢?我们来看一些谷歌公布的数据。下面这个图是2006年谷歌的5000台服务器的平均CPU利用率分布,也有越来越多使用英特尔和AMD芯片处理器的计算机也开始尝试着运行Android系统。Android-X86无疑是最好的操作,达到了安卓4.4系统。而日前,安卓便开始推出了第一个可以在PC上使用的安卓版本。在今日安卓再一次对其PC操作系统进行了更新,携手谷歌开始完美的运行安卓系统。
这些只是建设成本,也在安卓系统的不断完善之下,自然也不会放过这么一个好的机会,而作为PC桌面电脑的统治者——X86处理器,通过各种方式尝试运行Windows系统,ARM设备也开始进行了逆向的探索,随着ARM处理器性能的提高,当然也成为了安卓系统首选的最大的栖身之地。可是有趣的是,所以在几乎垄断便携式互联网设备的ARM处理器,甚至与微软的手机系统差的更多。
在谷歌推出安卓系统1年之后,真的已经离失败不远了,甚至为了更好的进入中国大陆市场而直接投资中美太平洋海底光缆建设。但是在开发安卓PC操作系统这件事情上,不断大胆尝试的各种业务都在世界各地获得成功,不断开展的疯狂试验,是科技时代不可否认的成功者。其依靠着不断的颠覆性创新,谷歌无论在曾经和现在都是一个改变科技时代的有力推进者, 谷歌的安卓系统从最初设计初衷就是为便携式互联网设备而准备, 当然,
上一篇:根据“FASTER”项目