模式识别-Fisher线性判别实验.doc

立即下载 作者: 一瓶泡沫
上传时间: 2025-04-15
关键词: 方向 Fisher 样本 实验 线性 分类 投影 判别 数据 方法
大小 398.2 KB
描述
实验三 Fisher线性判别实验
姓名：徐维坚 学号：2220103484 日期：2012/7/7
实验目的：
加深对Fisher线性判别的基本思想的认识和理解。
编写实现Fisher线性判别准则函数的程序。
实验原理：
基本原理：
一般情况下，我们总可以找到某个方向，使得这个方向的直线上，样本的投影能分开的最好，而Fisher法所要解决的基本问题就是找到这条最好的、最易于分类的投影线。
先从d维空间到一维空间的一维数学变换方法。假设有一集合包含N个d维样本，其中个属于类的样本记为子集，个属于类的样本记为。若对的分量做线性组合可得标量
，
这样便得到N个一维样本组成的集合，并可分为两个子集和。的绝对值是无关紧要的，它仅使乘上一个比例因子，重要的是选择的方向，从而转化为寻找最好的投影方向，是样本分开。
基本方法：
先定义几个基本参量：
各类样本均值向量
样本类内离散度矩阵和总类内离散度矩阵
样本类间离散度矩阵
我们希望投影后，在低维空间里个样本尽可能的分开些，即希望两类均值越大越好，同时希望各类样本内部尽量密集，即越小越好。因此，我们定义Fisher准则函数为
但不显含，因此必须设法将变成的显函数。
由式子
从而得到
，
采用Lagrange乘子法求解它的极大值
对其求偏导，得，即
从而我们很容易得到
忽略比例因子，得

这就是我们Fisher准则函数取极大值时的解。
实验内容：
依据实验基本原理和基本方法，对下面表3-1样本数据中的类别和计算最优方向，画出最优方向的直线，并标记出投影后的点在直线上的位置。选择决策边界，实现新样本xx1=(-0.7,0.58,0.089)，xx2=(0.047,-0.4,1.04)的分类。
设某新类别数据如表3-2所示，用自己的函数求新类别分别和、分类的投影方向和分类阀值。
表3-1 Fisher线性判别实验数据
类别 1 2 3 4 5 6 7 8 9 10
x1 -0.4 -0.31 -0.38 -0.15 -0.35 0.17 -0.011 -0.27 -0.065 -0.12
x2 0.58 0.27 0.055 0.53 0.47 0.69 0.55 0.61 0.49 0.054
x3 0.089 -0.04 -0.035 0.011 0.034
目录
方向/Fisher/样本/实验/线性/分类/投影/判别/数据/方法/ 方向/Fisher/样本/实验/线性/分类/投影/判别/数据/方法/