上一次分享时,我们以线性回归这一个监督式学习算法为例子,给大家科普了模型、算法、损失函数以及机器学习里面的一些重要的概念,相信大家对模型这个黑盒子应该有了一个初步的认识,今天则是介绍另外一个传统、经典的模型,决策树。 开始之前,先简单回顾下线性回归,顺便加强下对机器学习的三要素的认识
首先,机器学习首先就是要考虑的问题就是学习一个什么样的模型,可能是一个函数也可能是一个概率分布。
线性回归的模型时假设我们的样本的各个特征和要预测的值之间存在这样的一个简单的线性关系。theta是模型的参数权重向量, x是样本的特征向量
有了模型之后,接着要考虑的是按照什么样的准则学习最优的模型,也就是学习的策略。 通常而言,需要选择一个损失函数来表达训练样本数据集拟合模型的程度,训练过程就是去最小化这个损失函数以求解模型参数
对于线性回归的来说,我们使用的是均方误差来度量样本数据拟合模型的程度
最后,怎么去最小化这个损失函数,也就是训练所采用的算法,上次分享以最小化均方误差函数为例,介绍了两种训练线性回归模型的算法 一个是normal equation,直接得到模型参数向量的解析解,另外一个是gradiend desent,他是按照梯度方向迭代更新模型参数已最优化目标函数的一种数值算法
Keyboard shortcuts
↑, ←, Pg Up, k | Go to previous slide |
↓, →, Pg Dn, Space, j | Go to next slide |
Home | Go to first slide |
End | Go to last slide |
Number + Return | Go to specific slide |
b / m / f | Toggle blackout / mirrored / fullscreen mode |
c | Clone slideshow |
p | Toggle presenter mode |
t | Restart the presentation timer |
?, h | Toggle this help |
Esc | Back to slideshow |