41th-百度-吴华-互联网上NLP技术及其应用.pdf
立即下载
特狼普
2025-04-05
知识
挖掘
需求
分析
新词
专名
用户
Query
搜索
北京
3.7 MB
互联网NLP技术及应用
吴华
2013/8/17
搜索引擎的用户需求
王菲老公代言的汽车品牌
附近好吃的餐馆
从中关村到香山饭店怎么走
听起来快乐的歌曲
令人心旷神怡的图片
北京哪里能买到漂亮衣服
互联网应用趋势
•基于知识网络的全面需求满足
– 知识、语义搜索
•精准需求理解
•直接答案满足
– 对话式搜索
•智能交互
•主动推荐，不搜即得
•精准的个性化服务
搜索给NLP带来的挑战
需求识别 知识挖掘
框计算
A B
结果组织与展现
D
用户引导
C
• 来源：暗网、隐含
• 形式：结构化、半结构
化、非结构化
• 结构：各种层次的知识
• 直接答案
• 聚类
• 文摘
• 关系图
• 推送
• 多媒体
• 输入复杂
• 需求多样
• 建议
• 扩展
• 交互
整合词典、例句、翻译
移动APP -- 旅游
百度翻译免费API -- 电子商务
提纲
•文本理解
– Query理解
– 知识语义计算
•用户理解
– 用户建模
基础技术与应用的关系示例
词法分析
句法分析
语用分析
翻译模型
ML模型
知识图谱
Query分析
智能交互
辅助决策
用户模型
语义分析
词法和关系分析应用
实体挖掘
Ontology建设
知识图谱
实体挖掘
Query log 海量网页库 垂直站点资源
新词/专名挖掘
基于多类资源挖掘新词/专名知识，可做到天级别更新
新词/专名分类
可面向自定义类别进行灵活分类
新词/专名需求词挖掘
新词/专名的需求标签
原始数据
步步惊心 下载
莫言作品集
北京大学录取线
山楂树之恋在线观看
……
步步惊心 【电视剧】
莫言 【人名】
北京大学 【机构】
山楂树之恋 【电影】
……
步步惊心
下载 / 观看 / 在线 / 小说
大结局 / 刘诗诗 / 片尾曲
……
• 从Query Log挖掘
• URL pattern 挖掘
• 从title中挖掘
相
知识/挖掘/需求/分析/新词/专名/用户/Query/搜索/北京/
知识/挖掘/需求/分析/新词/专名/用户/Query/搜索/北京/
-->
