微软人工智能首席科学家邓力博士在上海IEEE-ICASSP2016大会上的演讲报告。邓力率先提出将深度神经网络应用于语音识别，显著提高了机器对语音的识别率，由此获得2015年IEEE技术成就奖。
机器感知中的深度学习
- 语言
- 图像
机器认知中的深度学习
- 语义模型
- 自然语言
- 多模态
- 推理，关注，记忆（RAM）
- 知识呈现/管理/开发
- 最佳决策（通过深度强化学习）
深度学习和AI研究中的三大热门领域及挑战
深度无监督学习
- 无监督学习近来成了深度学习领域一大热点
- 需要有一个任务为无监督学习设定基准，比如提高预测精度
- 语音识别和图像说明的例子
- 4种知识来源
未来研究挑战
- 结构化嵌入从而更好地推理：结合神经网络表征
- 结合深度判别模型和深度生成模型/贝叶斯模型
- 深度无监督学习
标题：人工智能中的深度学习——从机器感知到机器认知
AlphaGo 如何运用人工智能/强人工智能与深度学习
深度学习研究：以神经信息处理系统（NIPS）为中心
2010年到2012年，安卓在语音识别错误率上取得的突破
全球语音行业中深度神经网络（DNN）的应用
当下语音识别技术的最新发展状况
谷歌的神经网络架构（NNA）ASR
百度的深度语音中英文端对端 DL系统
苹果DNN-HMM ASR 中学习的跃迁概率
科大讯飞的 FSMN-based LVCSR系统
IBM的英语对话语音识别
微软牛津计划
深度学习同样也覆盖到图像认知（从2012年起）
对象认知过程
微软的神经网络证明，深度学习可以更深
深度非常关键
符号嵌入中的深度语义模型
深度语义模型的应用
自动写图说
COCO挑战的结果（CVPR-2015，Boston）
机器认知中的深度学习
nature文章通过深度增强学习让机器达到人类水平的控制
增强学习——长期价值的最优化
用深度神经网络和树形搜索学会下围棋
AlphaGo中的DNN学习管道
AlphaGo中使用的DNN架构
AlphaGo中四个DNN的分析
AlphaGo中蒙特卡洛树形研究
机器认知深度学习——存储网络和注意力机制（用于机器翻译）
长短期记忆循环神经网络（LSTM）
LSTM细胞随时间展开情况
门限循环单元（GRU），比LSTM简单，没有输出门。（图2）和LSTM一样，乍看很难看出哪部分是GRU功能的关键。
神经网络的序列学习
神经网络机器翻译
- 这种模型反馈“思想向量”性能不佳
- 尤其是长语料句子
- 因为你不能把 %&!$# 整句话缩到一个 $&!#* 向量里！
采用注意力机制的神经网络机器翻译
全局注意力模型和局部注意力模型
图像说明注意力模型
机器认知深度学习
- 推理神经网络：存储网络
- 更好的推理神经网络：带结构化知识再现的张量积表征
推理存储网络
TPR：结构化神经网络表征
未来研究挑战
理论上说理论和实践没有区别，但在实践中理论和实践是有区别的。
