gatsby2016 / coding4bioinfo Goto Github PK

Isomap, LLE, spectral embedding, tSNE, UMAP
由LLE到laplacian eigenmap 到spectral cluster；
laplacian eigenmap
拉普拉斯矩阵（Laplace Matrix）与瑞利熵（Rayleigh quotient）
谱聚类

关于距离度量【euclidean, pearson, spearman】的三种策略：

• 增加
  • 增加从信息熵、离散布尔的角度进行度量【JS散度 and DICE】
• 修改
  • 修改现有euclidean距离度量为标准化euclidean距离，消除不同维度分量量纲影响
• 删除
  • spearman相关系数其实是分量排序离散化后的pearson相关系数，但不同分量排序没有任何意义。

NOTE: 其他什么街区距离 余弦相似度等，都还是以上几种的不同延伸变种，本质设计理念和计算方式一致。

what is kernel function?
details about kernel function
kernel function in ML
Mercer 定理：任何半正定的函数都可以作为核函数。所谓半正定的函数f(xi,xj)，是指拥有训练数据集合（x1,x2,...xn)，我们定义一个矩阵的元素aij = f(xi,xj)，这个矩阵式n*n的，如果这个矩阵是半正定的，那么f(xi,xj)就称为半正定的函数。
请注意，这个mercer定理不是核函数必要条件，只是一个充分条件，即还有不满足mercer定理的函数也可以是核函数。所谓半正定指的就是核矩阵K的特征值均为非负。

正定矩阵与半正定矩阵
证明：协方差矩阵是半正定矩阵

• 问题：原始数据A_(mxn)(m维n个样本)经过距离度量得到相异性矩阵M_(nxn)，需要对dissimilarity matrix矩阵M进行降维。
• 现状：
  • 针对M使用PCA计算获得k个主成分，其实获得的也就是矩阵M的协方差矩阵D的前k个特征值对应的特征向量组成的矩阵P；而协方差矩阵D是对称矩阵；
  • 针对M构建graph laplacian矩阵L；然后对其进行矩阵分解