学习神经网络时绕不过的那些数学概念——最小二乘法、极大似然估计、交叉熵

luyuanhong

学习神经网络时绕不过的那些数学概念——最小二乘法、极大似然估计、交叉熵

原创 简姐 简姐 2024 年 08 月 19 日 13:22 上海



我正在学习神经网络，这过程中碰上了很多“忘光光的”数学概念。本着，既然忘了，就再学一把的理念，重温了这些数学知识，顺便也把这些内容整理成了笔记，方便以后查看。所以，有了《学习神经网络时绕不过的那些数学概念》这个系列笔记。

因为我正在学习过程中，所以笔记的内容是按我学习的进度来整理的。这次主要集中在损失函数上。目前，碰到的几种损失函数都整理成笔记。如果，将来碰到其他损失函数了，我会再补充笔记。

学习的路上， 我们一起加油吧！

什么是最小二乘法

最小二乘法（Least Squares Method）是一种数学优化技术，用于通过最小化数据点与模型之间的误差平方和来拟合数据。这种方法广泛应用于统计学、回归分析和数据拟合等领域。



为什么通过对 m 和 b 求导数，并设置导数为零，可以求解出最优的 m 和 b ？



什么是极大似然估计？



以猜硬币为例子来进一步解释极大似然估计（MLE）



就这个猜硬币的例子而言， 概率一眼就能看到是 6/10 ，为什么要这么复杂地去算极大似然估计，最后得到的结论还是 p=0.6 ？



什么是交叉熵

交叉熵（Cross-Entropy）是一种用于衡量两个概率分布之间差异的损失函数，特别是在分类问题中广泛使用。它最常见的应用场景是在机器学习中的分类任务中，比如逻辑回归和神经网络的训练。让我一步步来解释。



用“猜硬币”的例子来进一步解释交叉熵的概念



最小二乘法、极大似然估计和交叉熵在数学上的联系

最小二乘法、极大似然估计和交叉熵虽然在数学上有着紧密的联系，但它们之间并不总是可以直接互相推导出来的。它们应用于不同的情境和假设，因此在特定的条件下，它们可能会产生相似的结果或具有一定的等价性，但在一般情况下，它们是独立的概念。下面我们讨论它们之间的一些关系和在特定条件下的联系。



简姐