10分钟了解香农熵，交叉熵和KL散度KL散度(相对熵)是机器学习中衡量两个分布近似程度的一个重要概念，本视频通过一些简单的例子对KL散度的表示形式进行介绍，从熵的含义开始，到交叉熵的含义，最后到KL散度的定义以及它的一些直观意义。未来计划将基于KL散度来介绍变分推理这一重要概念，变分推理对理解最近很火的生成式模型有着很重要的作用。, 视频播放量 47298、弹幕量 98、点赞数 2092、投硬币枚数 1566、收藏人数 3194、转发人数 284, 视频作者 车库里的老锤, 作者简介 老锤和大家一块探索人工智能，机器人，相关视频：一个视频彻底搞懂交叉熵、信息熵、相对熵、KL散度、交叉熵损失、交叉熵损失函数、softmax函数、softmax求概率、各种熵的公式，“交叉熵”如何做损失函数？打包理解“信息量”、“比特”、“熵”、“KL散度”、“交叉熵”，【官方双语】一个视频理解交叉熵 Cross Entropy，信息量 ｜熵 ｜ 交叉熵 ｜KL散度 （相对熵）｜交叉熵损失函数，你真的理解交叉熵损失函数了吗？，【机器学习】重新理解线性回归 - 1 - 极大似然估计，【官方双语】交叉熵损失函数怎么进行反向传播来优化神经网络参数？，【 深度学习 】熵，交叉熵，KL散度 Entropy, Cross-Entropy and KL-Divergence（英文），【15分钟】了解变分推理，机器学习中的基本概念：信息熵，交叉熵和KL散度（讲的超好）