百度世界2011云计算论坛演讲稿：百度云计算总体介绍.pdf
立即下载
撩心
2024-11-03
数据
云计算
架构
存储
基础
计算
实时
平台
百度
搜索
1.5 MB
潜龙骄首 志在凌云
云计算论坛
百度云计算总体介绍
林仕鼎
百度云计算总工程师
百度基础架构部主任架构师
搜索 广告 社区 业务
数据智能云平台
海量数据存储与处理
软件基础架构
数据中心、网络、服务器 硬件基础架构
云
计
算
系统架构
目录
云计算思路
基础架构介绍
公有云
百度云计算源于搜索技术
超大规模
快速迭代
超大规模是搜索引擎的最显著特征
• 100~1000PB数据总量
• 10~100PB/天数据处理量
• 千亿~万亿网页
• 百亿~千亿索引
• 十亿~百亿/天更新量
• 十亿~百亿/天请求
• 100TB~1PB/天日志
快速迭代是互联网产品的重要特征
离线 在线
离线分析与在线实验相结合
通过反馈来验证算法优劣
算法A
算法B
算法B
云计算思路
• 基础架构平台
构建专有云，支持搜索
• 公共云计算平台
开放平台，回馈业界
倡导并建设绿色数据中心
云计算思路
基础架构介绍
公有云
数据处理 互联网服务架构
内核 新硬件 安全
大规模存储 大规模计算 实时存储与计算
基础架构技术体系
DiskFlash
Pipe K/VFileTable
统一存储体系
– 平衡大容量、高并发、低延迟
– 不同访问模式通过组合满足
统一访问与传输
数据访问层 P2P CDN
存储
描述能力
数据流优化
控制流管理
资源分配
优先级、并发控制
隔离、安全
执行层
模型层
Map Reduce
表示层 SQL-like
翻译
Join Select Top
计算
B
C
DA
分布式数据结构
kNN查询
向量计算引擎 流式数据处理复杂事件处理
PubSub
机器学习
算法 OLAP
海量数据存储与处理
图算法 实时检索
实时存储与计算
新硬件
计算
Many-Core
FPGA
存储
SSD
NVRAM
通讯
光通
新体系结构
高密度、低功耗
数据处理
• 100PB海量
• 10亿维特征训练
• 100维条件查询
高维、多维
• 流式
• 触发式
实时
更大、更复杂、更快！
产品开发全过程
方法论+流程+平台
想法 原型 系统
快速开发 测试
产
数据/云计算/架构/存储/基础/计算/实时/平台/百度/搜索/
数据/云计算/架构/存储/基础/计算/实时/平台/百度/搜索/
-->