返回介绍

17.10 云计算和数据中心

发布于 2024-10-13 13:59:10 字数 3407 浏览 0 评论 0 收藏 0

Google 是最早提出云计算概念的公司,这并不是要炒作概念,而是在此以前它已经在工程上做了很多的准备,并且它自己的产品就是这么设计的。几年后云计算成为了当今科技界很热门的一个词。至于什么是云计算、它有什么好处,将引起什么样的产业变革,我们会在以后的章节专门讨论。这里让我们关注一下云计算是如何从 Google 诞生的。

云计算在 Google 的历史和 Google 本身一样长。佩奇和布林还是在斯坦福大学时,就提出和实现了一种被称为"大文件" ( Big File ) 的新型文件系统。这个技术就是后来 Google 云计算技术中很重要的 GFS 文件系统的雏形。佩奇和布林发现将下载的网页存成单独文件或数据库文件都不方便使用,就设计了 Big File 这种针对搜索业务的大型文件系统。后来在 Google 成为公司后, Google 趁着惠普实验室( HP Labs) 分崩离析的机会,吸引了两个关键性工程师加盟,他们就是云计算之父,并且因为这个贡献当选美国工程院院士的杰夫?迪恩( Jeff Dean ) 博士和桑杰?戈马瓦特( Sanjay Ghemawat ) 博士。

如果说西尔弗斯坦是为 Google 雪中送炭的人,因为他能快速实现一个完整系统,那么迪恩和戈马瓦特则是为 Google 锦上添花的人,因为他们完成了 Google 走向大公司的工程设计。他们二人和佩奇那种"想大事,干大事"的性格很相投,因此他们在 Google 工程师非常紧缺、大家加班加点应付产品开发都忙不过来的时候,潜下心来一心一意开发一个为了以后 10 倍业务盘时能够方便扩展、同时能够节省运维人员的公共平台。这个平台就是 Google 云计算的雏形。

Google 最初开发云计算平台的目的只是为了能把大量廉价的服务器集成起来,完成超级计算机的计算和存储功能。由于 Google 为了降低成本,这些自己制造的服务器可靠性非常差,性能和 IBM 或太阳公司的大型机相差甚远,所以迪恩和戈马瓦特等人在架构设计时就把容错性和并发处理能力考虑得非常周全。因此,以后大家使用这个系统就非常方便。

Google 从一开始起,业务的增长量就非常快,但是起初 Google 并没有建立自己数据中心的打算。因为在 2003 年以前,互联网泡沫破碎以后留下的基础架构和数据中心足够 Google 用。在 2000 年前后,由于对互联网发展过度乐观,美国超前建造了非常多的互联网基础设施,包括铺设的光缆和数据中心。在 2001 年以后,绝大多数互联网公司的关门了,建造和拥有这些基础设施的公司根本无法盈利,能挣点钱,少损失一点是他们最大的愿望。在这个环境下, Google 无需担心自己业务增量的问题,反正没人用的光缆( 暗光缆) 和数据中心有的是。但是,到了 2003 年,美国经济开始反弹,雅虎、美国在线和微软这些第一代互联网公司的业务不仅开始恢复,而且很快超过了 2000 年以前的水平,加上 Google 自己的业务快速发展,用不了一两年,这些基础设施资源就会饱和。由于 2000 年被蛇咬怕了,没有什么公司愿意再投资建互联网基础设施了。这样基础设施建设的事情就落到了这些大互联网公司自己身上。Google 后来发展比较顺利的一个原因是它比其他公司更早地看到互联网基础设施的重要性。这里面一个关键性人物是前面提到的副总裁霍尔斯。

从 2003 年起,大学教授出身的霍尔斯全心全意地投入到公司的业务运营管理和基础架构的建设中。他的贡献有三个方面:第一,在全球通过租用和收购已铺设的光缆,以及铺设新光缆,保证了 Google 业务发展后网速不成为瓶颈。第二,抢在很多公司以前在全球布局,占据了建设数据中心的最佳点。第三,设计了节能高效的服务器机柜,大大降低了运营成本。这里面任何一件事做起来都非常难。就以建设全球的光缆网络为例,这是一个非常庞大的系统工程,从某种程度上讲复杂程度超过建造一座水坝或一艘航空母舰。要从亚洲建一条海底电缆到美国,需要和很多国家的电信部门打交道,而要把这些国家的电信部长们叫到一张桌子上开会,本身就是一件很不容易的事情。霍尔斯等人最终把这些事情办到了。经过几年在工程上和运营上的努力,到 2006 年 Google 的云计算平台基本完成,所有的业务,尤其是由用户产生的数据的业务,比如邮件、博客、社区 Orkut 等都搬到了云计算上面。在 Google 内部,产品团队的工程师开发产品时,已经不关心他们使用了多少物理上的服务器,这些服务器在哪里,互相是如何连接的。他们只要提出自己需要多少计算资源,包括 CPU 资源和存储资源就好。他们填好配置文件后剩下来的就是云计算的事了。对于用户来讲也是如此,他们不知道自己的内容放在了哪里,对他们来讲,整个 Google 就是一个超级计算机。很多人都关心 Google 到底有多少台服务器,这个具体的数字,估计霍尔斯本人都说不清楚,因为 Google 每天都有新服务器上架。但是,如果把 Google 作为一个独立的服务器制造商,它应该仅次于 IBM 和惠普排在世界第三位。

很长时间以来,微软是 Google 最主要的竞争对手,于是 Google 提出了云计算的概念,希望今后整个产业界将越来越多的服务从 PC 机客户端搬到网上,减少用户对微软的依赖。Google 开始并没有想到云计算的威力那么大,以至于最终可能颠覆 IT 的产业结构;它开始只是想提供一种让网民们在互联网云中任何时间、任何地点能够快速和安全地访问、处理、存储和共享信息。现在存储、处理和共享信息都做得很好了,但是还必须解决安全性问题和快速方便访问的问题。

早在 Google 的 Gmail 还没有推出以前, Google 就成立了一个 Google 账户管理部门,负责网络安全性问题。和以往处理网络安全的做法不同,Google 更多地依靠云计算的工具实时监控每一个账户的异常动态,保障网络安全。设计和实现里面关键技术的是两个人,包括一位不愿透露姓名的华裔科学家兼资深工程师。

最后,就剩下一个如何让用户快速接人互联网的问题了。Google 在这方面做了两个布局:

首先,积极推动无线互联网的发展,包括它的 Android 战略,采用无线频道的拍卖等。另外是通过立法保障网络的中性化( NetworkNeutrality ) 。这个概念解释起来比较罗嗦,简单地讲就是对待所有的用户和内容供应商提供同等的服务和收费以防止运营商在最后一公里向用户和内容提供商(尤其是和自己竞争的内容提供商) 过度收费。事实上,在美国至今为止网络基本是中性的,也就是说运营商(包括 ATT 、Verizon 和 Comcast 等) 基本没有对自己竞争对手额外收费。但是,在很多国家,包括中国,网络不是中性的,运营商要比内容提供商(包括中国三大门户网站、以及百度、腾讯和阿里巴巴等公司) 强势的多。这些内容提供商既不能为终端用户提供联网服务,也不能自己铺设光纤。随着互联网公司的盈利不断增加,而运营商收益增长缓慢,美国的一些运营商试图对内容运营商多收费。这样,在美国商业界就形成了两大阵营, 一方是以 ATT 、Verizon 和 Comcast 为首的运营商阵营,另一方是以 Google 、微软、雅虎和亚马逊为首的互联网阵营。双方把官司打到国会,最后在 Google 和微软等公司的努力下,借着 ATT 欲收购另一家电信公司的契机,基本上从立法上将互联网中性化确立下来。

其次, Google 大力推近城市免费 Wi-Fi 业务,并且在一些城市(加州的山景城、旧金山) 和机场(西雅图机场) 提供免费的 Wifi 接人业务。这样. Google 云计算的准备工作已经全部完成,它便提出了云计算的概念。至于云计算的细节,我们在后面的章节有专门的描述。这里需要强调的是, 云计算的产业链一旦形成, 对现在信息产业的影响将是颠覆性的。每一次重大的技术变革都预示着产业格局的演变,也会促成主流企业的重新洗牌。Google 正在以此为契机,希望能够在下一次产业变革中领跑。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文