一, 特征值和特征向量的概念和计算
明确定义: 设 A 是 n 阶方阵, 如果存在常数 及非零 n 向量 x, 使得 , 则称 是矩阵 A 的特征值, x 是 A 属于特征值 的特征向量. 给定 n 阶矩阵 A, 行列式
的结果是关于 的一个多项式, 成为矩阵 A 的特征多项式, 该特征多项式构成的方程 称为矩阵 A 的特征方程.
定理: n 阶矩阵 A 的 n 个特征值就是其特征方程 的 n 个跟 ; 而 A 的属于特征值 的特征向量就是齐次线性方程 的非零解.
齐次线性方程:
例: 求 的特征值和特征向量
解:
, 解一元二次方程可得,;
对应的特征向量为 x 满足, 求得
对应的特征向量为 x 满足, 求得
二, 特征值和特征向量的几何意义
1, 矩阵, 向量, 向量的矩阵变换
在进行特征和特征向量的几何意义解释之前, 我们先回顾一下向量, 矩阵, 向量矩阵变换的等相关知识.
向量有行向量和列向量, 向量在几何上被解释成一系列与轴平行的位移, 一般说来, 任意向量 v 都能写成 "扩展" 形式:
以 3 维向量为例, 定义 p,q,r 为指向 + x,+y 和 + z 方向的单位向量, 则有 v=xp+yq+zr. 现在向量 v 就被表示成 p,q,r 的线性变换了. 这里的基向量是笛卡尔积坐标轴, 但事实上这个一个坐标系可以由任意的 3 个基向量定义, 只要这 3 个基向量线性无关就行(不在同一平面上). 因此, 用一个矩阵乘以向量, 如 Ax, 表述如下:
如果把矩阵的行解释为坐标系的基向量, 矩阵与向量相乘 (或向量与矩阵相乘) 相当于执行一次坐标转换, Ax=y 可表述为 x 经矩阵 A 变换后变为 y. 因此, 追溯矩阵的由来, 与向量的关系, 我们会觉得矩阵并不神秘, 它只是用一种紧凑的方式来表达坐标转换所需的数学运算.
2, 矩阵的特征值和特征向量
矩阵 A 的特征值和特征向量分别为 和 x, 记为 , 该式子可理解为向量 x 在几何空间中经过矩阵 A 的变换后得到向量. 由此可知, 向量 x 经过矩阵 A 变换后, 方向并无改变(反方向不算方向改变), 只是伸缩了 倍.
以矩阵 为例, 其特征向值分别为 ,, 对应的特征向量为,, 那么() 表示向量 经过矩阵 A 变换后, 得到 , 向量变换变为改变 方向, 知识将 在原方向上扩充了 2 倍. 特征值 也是同样道理, 经过矩阵 A 变换后特征向量 在原方向上扩充了 3 倍.
因此, 将特征向量看成基向量, 矩阵就是这些基向量向对应的特征值伸展所需的数学运算. 给定一个矩阵, 就可以找出对应的基(特征向量), 及透过向量变换(矩阵), 这些基的伸展(特征值).
三, 特征值和特征向量的应用实例
- library("e1071")
- # 读取数据
- wineData=read.table("E:\\blog\\ 特征值和特征向量 \\data.csv",header=T,sep=",");
- # 计算协方差阵
- covariance = cov(wineData[2:14])
- # 计算特征值和特征向量
- eigenResult=eigen(covariance)
- # 选取 6 个主成分, 并计算这 6 个主成分解释的方差总和
- PC_NUM = 6
- varSum=sum(eigenResult$values[1:PC_NUM])/sum(eigenResult$values)
- # 降维后的样本
- ruduceData= data.matrix(wineData[2:14])%*%eigenResult$vectors[,1:PC_NUM]
- # 加入分类标签
- #finalData=cbind(wineData$class,ruduceData)
- # 给 finalData 添加列名
- #colnames(finalDat) =c("calss","pc1","pc2","pc3","pc4","pc5","pc6")
- # 训练样本 -- 主成分分析后的样本作为训练样本
- y=wineData$class;
- x1=ruduceData;
- model1 <- svm(x1, y,cross=10)
- pred1 <- predict(model1, x1)
- #pred1 <- fitted(model1)
- table(pred1, y) #使用 table 来查看预测结果
- # 训练样本 -- 原数据作为训练样本
- x2=wineData[2:14]
- model2 <- svm(x2, y,cross=10)
- #pred2 <- predict(model2, x2)
- pred2 <- fitted(model2)
- table(pred2, y) #使用 table 来查看预测结果
来源: http://www.bubuko.com/infodetail-3025346.html