智能问答算法原理及实践之路-陈松坚.pdf

立即下载 作者: 我头上有犄角
上传时间: 2024-04-19
关键词: 网络 建模 通行证 机器人 神经 Reference 分类 办理 -> Attention
大小 3.2 MB
描述
主 讲 人 ：
腾 讯 数 据 平 台 部 高 级 算 法 研 究 员 陈松坚
智能问答算法原理01
02
03
中控逻辑
任务机器人 知识图谱机器人 FAQ机器人 闲聊机器人 阅读理解机器人
动机：解决冷启动问题
方案：
文本相似度特征
xgboost非线性建模
词向量：
word2vec
glove
句向量：
WMD(Word Mover’s Distance)
SIF（Smooth inverse Frequency）
高维稀疏term特征映射到低维语义特征
深层网络结构
(Reference: P.S Huang, Learning deep structured semantic models
for web search using clickthrough data, 2013)
CNN，卷积神经网络建模 RNN，循环神经网络建模
Representation-based, 表示式建模 Interaction-based, 交互式建模
(Reference: Baotian Hu,, Convolutional Neural Network Architectures for
Matching Natural Language Sentences, 2015)
稠密连接网络（Densely-connected）
混合注意力机制（Attention + Self Attention）
• 多任务联合学习：
· 问句分类: 同时进行问句匹配和分类
• 问句生成: 同时进行匹配和seq2seq训练
• 多语料迁移学习
• fine-tune：上层参数微调
• adversarial loss：样本来源的混淆分类
• 预训练模型
• ELMO, BERT
• 对话管理：query -> NLU -> DST -> DPL -> NLG -> response
• End-to-end神经网络模型
•(Reference: Xuijun Li, End-to-end task-completion neural dialogue system, 2017)
14
请问您办理的是：
港澳通行证
护照
驾照
港澳通行证
深户办理港澳通行证及个人
签注：申请人请携带
目录
网络/建模/通行证/机器人/神经/Reference/分类/办理/->/Attention/ 网络/建模/通行证/机器人/神经/Reference/分类/办理/->/Attention/