MVU(最⼤差异展开)
冬季恋歌简谱* MVU算法
** 基本思想
Weinberger和Saul提出的最⼤差异展开算法(MVU),也可以称为半正定嵌⼊算法(Semi-definite Embedding, SDE),基本思想是:假设样本点中每个点都和其k近邻点组成近邻图,那么可以到⼀种映射使得⾮近邻点之间的距离映射到低维空间后最⼤,那么就可以得到嵌⼊后的映射关系.
** 算法步骤
1) 构造近邻图
mv每个数据点都与其他k近邻点链接并且保存所有存在的近邻关系的数据点都互相连接,如果通过这种⽅法建⽴近邻图⽐较忠实保留数据点的流形结构.
2) 半正定规划近邻图的Gram矩阵
保持近邻图中所有边的欧⽒距离,低维坐标中⼼化和内积半正定三个约束条件下,建⽴⽬标函数,使得
Gram矩阵的迹最⼤,并且通过半正定规划出Gram矩阵,使得⾼位数据全局结构的伸展.这种⽅式得到的不是直接的原始数据的伸展后的输出,⽽是半正定规划后,到在近邻图中不连接的两个点之间距离和最⼤的内积矩阵.
3) 谱分解
费玉清的老婆
莫扎特音乐对Gram矩阵使⽤MDS⽅法,得到在低维空间的嵌⼊结果.
** 算法分析
帕瓦罗蒂我的太阳
MVU算法保持前后近邻距离和⾓度不变,同时使得⾮近邻点在低维空间尽可能的远的情况下展开⾼维数据的学习⽅法,是⼀种保持全局特性的⽅法,但是不需要⾼维观测数据间的测地距离,所以对⾮凸函的数据集也有效果.
对噪声较为敏感,因为算法求解Gram使⽤了严格的局部等距约束,使得有噪声的数据的低维嵌⼊效果不是⾮常好.
如果从算法时间复杂度分析,求解半定规划需要O(k^3n^3),对Gram进⾏⼴义特征值分解需要O(n^3),所以不⼤适合对于⼤规模数据的分解变换.郭晶晶近况