向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

AI算法 | 极大似然估计——机器学习重要知识点

2019-01-23 作者:ROB
导语:经常有许多对人工智能领域跃跃欲试的小伙伴在后台发私信问我“怎样快速入门人工智能呢?”对于这样的问题,又要“老生常谈”了——作为一门庞大

经常有许多对人工智能领域跃跃欲试的小伙伴在后台发私信问我“怎样快速入门人工智能呢?”

对于这样的问题,又要“老生常谈”了——作为一门庞大而又繁杂的综合学科,学习的过程一定需要逐步理解、逐层深入。一蹴而就是不可能的。

今天讲一个在机器学习中重要的方法——极大似然估计。这是一个,能够让你拥有拟合最大盈利函数模型的估计方法哦!

现实意义

在机器学习中,我们经常会使用一个模型来描述生成数据的过程。

例如,我们可以使用一个随机森林模型来分类客户是否会取消订阅服务(流失建模);又或者我们可以用线性模型,再根据公司的广告支出来预测公司的收入(线性回归)。

每个模型都包含自己的一组参数,这些参数最终决定了模型本身。也就是只有将参数选定为特定值时,才能得到描述当前现象的模型实例。

原 理

极大似然估计则为以上情况提供了一种给定观察数据来评估模型参数的方法,即:模型已定,参数未知。

通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率为最大,则称为极大似然估计。

定 义

 

设整体分布为f(x,θ),X1,X2,X3···Xn为该总体采样得到的样本。因为X1,X2,X3···Xn独立同分布,于是,它们的联合密度函数为:

人工智能科普|极大似然估计——机器学习重要知识点

 

 

此时,θ被看作固定但未知的参数,而样本是已经抽取存在的,可以将X1,X2,X3···Xn看作是固定的。那么,L(x,θ)就是关于θ的函数,即似然函数。而求参数θ的值,使得似然函数取极大值的方法就是极大似然估计。

求解方法

 

对似然函数求导,得到对数似然函数。若对数似然函数可导,则可以通过求导的方式,解下列方程组,得到驻点,然后分析该驻点是极大值点:

人工智能科普|极大似然估计——机器学习重要知识点

 

 

人工智能科普|极大似然估计——机器学习重要知识点

 

称为参数

人工智能科普|极大似然估计——机器学习重要知识点

 

极大似然估计值,其相应的统计量

人工智能科普|极大似然估计——机器学习重要知识点

 

称为

人工智能科普|极大似然估计——机器学习重要知识点

 

极大似然估计量。极大似然估计简记为MLE或

人工智能科普|极大似然估计——机器学习重要知识点

 

 

 

几种常见分布的极大似然估计

 

1.二项分布

已知10次抛硬币的结果如下:

正 正 反 正 正 正 反 反 正 正

设p是抛到正面的结果的概率,则得到这一实验结果的概率为

人工智能科普|极大似然估计——机器学习重要知识点

 

 

对该式子求导,得到最优解为0.7。

2.均匀分布

设样本服从均匀分布[a, b]。则X的概率密度函数为

人工智能科普|极大似然估计——机器学习重要知识点

 

 

根据最大似然函数的公式L(x,θ),得到对于

人工智能科普|极大似然估计——机器学习重要知识点

 

 

人工智能科普|极大似然估计——机器学习重要知识点

 

 

很显然,L(a,b)作为a和b的二元函数是不连续的,这时不能用导数来求解。而必须从极大似然估计的定义出发,求L(a,b)的最大值。

为使L(a,b)达到最大,b-a应该尽可能地小,但b又不能小于

人工智能科普|极大似然估计——机器学习重要知识点

 

,否则L(a,b)=0。类似的,a不能大过

人工智能科普|极大似然估计——机器学习重要知识点

 

,因此,a和b的极大似然估计:

人工智能科普|极大似然估计——机器学习重要知识点

 

 

3.高斯分布(正态分布)

若给定一组样本X1,X2,X3···Xn,已知它们来自于高斯分布

人工智能科普|极大似然估计——机器学习重要知识点

 

,根据最大似然函数的公式L(x,θ),以及高斯分布的概率密度

人工智能科普|极大似然估计——机器学习重要知识点

 

 

将Xi的样本值xi带入,得到

人工智能科普|极大似然估计——机器学习重要知识点

 

 

进行化简

人工智能科普|极大似然估计——机器学习重要知识点

 

 

人工智能科普|极大似然估计——机器学习重要知识点

 

 

再对

人工智能科普|极大似然估计——机器学习重要知识点

 

求偏导,得到

人工智能科普|极大似然估计——机器学习重要知识点

 

 

可以看出,上述结论和矩估计的结果是一致的,并且意义非常直观:样本的均值及高斯分布的均值,样本的伪方差即高斯分布的方差。

该结论将在期望最大化算法、GMM高斯混合模型中继续使用。

求最大似然估计量的一般步骤:

(1)写出似然函数;

(2)对似然函数取对数,并整理;

(3)求导数;

(4)解似然方程。

 

极大似然估计的特点

 

1.比其他估计方法更加简单;

2.收敛性:无偏或者渐近无偏,当样本数目增加时,收敛性质会更好;

最大似然估计和贝叶斯估计

听到这里,许多同学可能会想起另一种估计方法——贝叶斯估计,即以贝叶斯公式为基础的估计方法:

人工智能科普|极大似然估计——机器学习重要知识点

 

实际的模式识别问题中,我们应如何选择使用哪种模型呢?下面简单分析一下:

(1)在先验概率能保证问题有解的情况下,最大似然估计和贝叶斯估计在训练样本趋近于无穷时得到的结果是一样的。

(2)最大似然估计的计算复杂度比贝叶斯估计小得多,只需要使用到简单的微分运算即可,而在贝叶斯估计中则需要用到非常复杂的多重积分。此外,贝叶斯估计相对来说也更难理解。

(3)当采用的样本数据很有限时,贝叶斯估计误差更小,毕竟在理论上,贝叶斯估计有很强的理论和算法基础。

整理
本文为机器人网原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。

您可能感兴趣的文章

  • 孙正义最新演讲:对于未来30年的趋势,现在正是关键时刻

    8月8日,华为发布了面向2025十大趋势,预测到2025年,全球58%的人口将能享有5G网络,14%的家庭拥有“机器人管家”,97%的大企业采用AI。AI会带来哪些投资机会?在近日一场高

  • 5G时代下的智能工厂将是什么样?

    5G的超高无线速度,将给社会的一切带来一场升级革命,这就是由量变引起质变的社会变革。那么,5G通讯技术将给智能制造带来哪些影响呢? 智能制造对5G网络有哪些需求?01智能制造为什

  • 陆奇人工智能精要

    本文来自陆奇的演讲,我们选取了其中的精要。一、什么是知识可以用来解决问题的特征表达(feature representation)。人类语言或图谱只是知识的一种表达方式。AI模型学到的特征

  • 人工智能可以解决三个主要城市问题吗?

    导语:本文阐述了世界上大多数城市可能面临的最重要的问题,它们可以通过物联网和人工智能(AI)解决方案来解决或减少。另外,创新的伙伴关系和商业模式以及社会和环境责任也是必要

  • 基因相亲,AI让男女一见钟情

    科学让爱情变得不再浪漫这样“精确的”婚姻真的好吗?基因+大数据算法时代的爱情文/张田勘谈恋爱总要从双方认识开始,无论是偶遇,还是有意安排,甚至是微信上的“

  • 人工智能独角兽发布刷脸产品,能否打开AI消费市场?

    今天,AI独角兽商汤科技在深圳发布了面向消费市场的刷脸产品:SensePass Pro,意欲把刷脸刚需化,推动整个AI消费市场的升级。

相关推荐

广告
推荐使用浏览器内置分享