注册
登录
机器学习
机器学习十大算法-knn
返回
机器学习十大算法-knn(机器学习十大算法)
作者:
cmwxj@126.com
发布时间:
2019-12-27 11:42:36 (5年前)
关键词:
knn
K最近邻
摘要:
K 最近邻(k -Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也 是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的 k 个最相似
<div style="width:595.0pt;margin-bottom:72.0pt;margin-top:72.0pt;margin-left:90.0pt;margin-right:90.0pt;"> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">邻近算法</span></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">KNN 算法的决策过程 k-Nearest Neighbor algorithm</span></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">右图中，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果 K=3，</span></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">由于红色三角形所占比例为 2/3，</span><span style="font-family:'微软雅黑';color:#000000;">绿色圆将被</span><span style="font-family:'微软雅黑';color:#000000;">赋予红色三角形那个类，如果 K=5，由于蓝色</span></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">四方形比例为 3/5，因此绿色圆被赋予蓝色四方形类。</span></p> <p style="text-align:left;background-color:#ffffff;"><img src="/user/files/9LpjVBgRehVuq9qOR_05c5eprFc1DZSQWuSLUrIzEn8.png" width="267.75pt" height="100%"></p> <p style="text-align:left;background-color:#ffffff;"><br></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">K 最近邻(k -Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也</span></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的 k </span><span style="font-family:'微软雅黑';color:#000000;">个</span><span style="font-family:'微软雅黑';color:#000000;">最相似</span></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">(</span><span style="font-family:'微软雅黑';color:#000000;">即特征</span><span style="font-family:'微软雅黑';color:#000000;">空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。KNN</span></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">算法中，所选择的邻居都是已经正确分类的对象。该方法在定</span><span style="font-family:'微软雅黑';color:#000000;">类决策</span><span style="font-family:'微软雅黑';color:#000000;">上只依据最邻近的一个</span></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">或者几个样本的类别来决定待分样本所属的类别。 KNN 方法虽然从原理上也依赖于极限定</span></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">理，但在类别决策时，只与极少量的相邻样本有关。由于 KNN 方法主要靠周围有限的邻近</span></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待</span></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">分样本集来说，KNN 方法较其他方法更为适合。</span></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">KNN 算法不仅可以用于分类，还可以用于回归。通过找出一个样本的 k </span><span style="font-family:'微软雅黑';color:#000000;">个</span><span style="font-family:'微软雅黑';color:#000000;">最近邻居，</span></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">将这些邻居的属性的平均值赋给该样本，就可以得到该样本的属性。更有用的方法是将不同</span></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">距离的邻居对该样本产生的影响给予不同的权值(weight)，</span><span style="font-family:'微软雅黑';color:#000000;">如权值</span><span style="font-family:'微软雅黑';color:#000000;">与距离成正比。</span></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">该算法在分类时有个主要的不足是，当样本不平衡时，如一个类的样本容量很大，</span></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的 K 个邻居中大容量类</span><span id="_GoBack"></span><span style="font-family:'微软雅黑';color:#000000;">的样本占多数。因此可以采用权值的方法（和该样本距离小的</span><span style="font-family:'微软雅黑';color:#000000;">邻居权</span><span style="font-family:'微软雅黑';color:#000000;">值大）来改进。该方法</span></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">的另一个不足之处是计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的</span></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">距离，才能求得它的 K </span><span style="font-family:'微软雅黑';color:#000000;">个</span><span style="font-family:'微软雅黑';color:#000000;">最近邻点。目前常用的解决方法是事先对已知样本点进行剪辑，事先去除对分类作用不大的样本。该算法比较适用于样本容量比较大的类域的自动分类，而那</span></p> <p style="text-align:left;background-color:#ffffff;"><span style="font-family:'微软雅黑';color:#000000;">些样本容量较小的类域采用这种算法比较容易产生误分。</span></p> <p></p> </div>
收藏
举报
0 条回复
动动手指，沙发就是你的了！
登录
后才能参与评论
