Google大数据技术架构探秘
1、谷歌的数据中心
谷歌已经建立了世界上最快、最强大、最高质量的数据中心,它的8个主要数据中心都远离其位于加州山景城的总部,分别位于美国南卡罗来纳州的伯克利郡,爱荷华州的康瑟尔布拉夫斯,乔治亚州的道格拉斯郡,俄克拉荷马州的梅斯郡,北卡罗来纳州的勒努瓦,俄勒冈州的达尔斯;另外2个在美国境外,分别是芬兰的哈米纳和比利时的圣吉斯兰。此外,谷歌公司还在中国香港和中国台湾,以及新加坡和智利建立了数据中心。
2、谷歌新一代搜索引擎平台和大数据分析核心技术
Google是GFS MapReduce BigTable的缔造者,但Google 新一代搜索引擎平台正逐步用更强计算能力的系统来替换原有系统,新一代搜索引擎平台有几个核心技术系统:
一是用基于Percolator的增量处理索引系统来取代MapReduce批处理索引系统,这个索引系统被称作Caffeine,它比MapReduce批处理索引系统搜索更快。
二是专为BigTable设计的分布式存储Colossus,也被称为GFS2(二代Google文件系统),它专为建立Caffeine搜索索引系统而用。
三是列存储数据库BigTable,但为了更好地支持大数据集的互动分析,Google推出了Dremel和PowerDrill。Dremel被设计用来管理非常大量的大数据集(指数据集的数量和每数据集的规模都大),而PowerDrill则设计用来分析少量的大数据集(指数据集的规模大,但数据集的数量不多)时提供更强大的分析性能。
四是为Google Instant提供服务的实时搜索引擎存储和分析架构。
五是Pregel,这是谷歌更快捷的网络和图算法。
在谷歌新一代搜索引擎平台上,每月40亿小时的视频,4.25亿Gmail用户,150,000,000 GB Web索引,却能实现0.25秒搜索出结果。
3、谷歌基础云服务
基于Colossus,谷歌为用户提供计算、存储和应用的云服务。计算服务包括计算的引擎(ComputeEngine)和应用APP的引擎(AppEngine);存储服务包括云存储(CloudStorge)、云SQL(CLoudSQL)、云数据存储(Cloud DataStore)、永久磁盘等服务;云应用服务包括BigQuery、云终端(Cloud Endpoints)、缓冲、队列等。
4、谷歌的大数据智能应用服务
Google提供的大数据分析智能应用包括客户情绪分析、交易风险(欺诈分析)、产品推荐、消息路由、诊断、客户流失预测、法律文案分类、电子邮件内容过滤、政治倾向预测、物种鉴定等多个方面。据称,大数据已经给Google每天带来2300万美元的收入。例如,一些典型应用如下:
(1)基于Map Reduce,Google的传统应用包括数据存储、数据分析、日志分析、搜索质量以及其他数据分析应用。
(2)基于Dremel系统, Google推出其强大的数据分析软件和服务 — BigQuery,它也是Google自己使用的互联网检索服务的一部分。Google已经开始销售在线数据分析服务,试图与市场上类似亚马逊网络服务(Amazon Web Services)这样的企业云计算服务竞争。这个服务,能帮助企业用户在数秒内完成万亿字节的扫描。
(3)基于搜索统计算法,Google推出搜索引擎的输写纠错、统计型机器翻译等服务。
(4)Google的趋势图应用。通过用户对于搜索词的关注度,很快的理解社会上的热点是什么。对广告主来说,它的商业价值就是很快的知道现在用户在关心什么,他们应该在什么地方投入一个广告。据此,Google公司也开发了一些大数据产品,如“Brand Lift in Adwords”、“Active GRP”等,以帮助广告客户分析和评估其广告活动的效率。
(5)Google Instant。输入关键词的过程,Google Instant 会边打边预测可能的搜索结果。
谷歌的大数据平台架构仍在演进中,追去的目标是更大数据集、更快、更准确的分析和计算。这将进一步引领大数据技术发展的方向。
责任编辑:何健
-
重新审视“双循环”下的光伏行业
2020-11-02光伏行业,光伏技术,光伏出口 -
能源转型进程中火电企业的下一程
2020-11-02五大发电,火电,煤电 -
国内最高额定水头抽蓄电站2#引水上斜井滑模混凝土施工顺利完成
2020-10-30抽水蓄能电站,长龙山抽水蓄能电站,水力发电
-
能源转型进程中火电企业的下一程
2020-11-02五大发电,火电,煤电 -
资本市场:深度研究火电行业价值
2020-07-09火电,火电公司,电力行业 -
国家能源局印发2020年能源工作指导意见:从严控制、按需推动煤电项目建设
2020-06-29煤电,能源转型,国家能源局
-
高塔技术助力分散式风电平价上网
2020-10-15分散式风电,风电塔筒,北京国际风能大会 -
创造12项世界第一!世界首个柔性直流电网工程组网成功
2020-06-29 清洁能源,多能互补,风电 -
桂山风电项目部组织集体默哀仪式
2020-04-08桂山风电项目部组织
-
国内最高额定水头抽蓄电站2#引水上斜井滑模混凝土施工顺利完成
2020-10-30抽水蓄能电站,长龙山抽水蓄能电站,水力发电 -
今后秦岭生态环境保护区内不再审批和新建小水电站
2020-06-29小水电,水电站,水电 -
3.2GW!能源局同意确定河北新增三个抽水蓄能电站选点规划
2020-06-29抽水蓄能,抽水蓄能电站,国家能源局
-
重新审视“双循环”下的光伏行业
2020-11-02光伏行业,光伏技术,光伏出口 -
官司缠身、高层动荡、工厂停产 “保壳之王”天龙光电将被ST
2020-09-11天龙光电,光伏设备,光伏企业现状 -
央视财经热评丨光伏发电的平价时代到了吗?
2020-08-24储能,光伏储能,平价上网