大数据业务价值与解决方案
蒋辉 2015-04-07
WHO
资历 - 曾任职腾讯高级技术人员,现任阿里技术专家 多年
互联网大数据挖掘项目和机器学习经验
经验 - 参与并主导多个大数据应用项目,对大数据处理和分
析及机器学习算法方面经验丰富,擅长各种推荐场景下大数
据应用
行业 - 曾从事安全行业研究WEB安全漏洞,参与漏洞扫描
器研发后转战互联网希望能在深似海的数据挖掘领域成就自
己
2
值得思考。。。
有两种方式构建软件设计:一种是把软件
做得很简单以至于明显找不到缺陷;另
一种是把它做得很复杂以至于找不到明
显的缺陷。
—— C.A.R. Hoare
获得人生中的成功需要的专注与坚持不懈
多过天才与机会。
—— C.W. Wendte
3
大数据时代,我们该怎么玩
课程调查分析
数据帮助产品决策?
5
Q: 情侣都喜欢秀恩爱?
6
内容大纲
大数据概述
▫ 大数据的来“缘”
▫ 大数据的挑战
大数据技术
▫ 常见的大数据系统
▫ Hadoop生态系统之HDFS
▫ Hadoop生态系统之MR机制
▫ SPARK流式计算简介
大数据业务解决方案
▫ 数据分析师 – 流量联盟建立及变现方案
▫ 数据科学家 – 推荐技术与机器学习应用
7
大数据
大数据技术
几个例子
8
什么是大数据技术
9
我们生活在数据爆炸的时代
10
我们生活在数据爆炸的时代
• Facebook 每个月的活跃用户已经超过10亿,
Yahoo!拥有超过7亿的活跃用户,每天发布这海
量的图片,视频,信息,新闻等等
• 淘宝主站有超过30一家店铺,以10亿计的宝贝,
千万量级别的交易笔数
• 每天我们产生2.5 quintillion bytes 的数据 —
当今世界90%的数据都产生于过去的几年(来源于
IBM网站)
11
我们生活在数据爆炸的时代
• Facebook 每个月的活跃用户已经超过10亿,
Yahoo!拥有
数据/技术/超过/时代/活跃/用户/10亿/生活/爆炸/机器/
数据/技术/超过/时代/活跃/用户/10亿/生活/爆炸/机器/
-->