K均值算法（K-means）聚类
【关键词】K个种子，均值
一、K-means算法原理
聚类的概念：一种无监督的学习，事先不知道类别，自动将相似的对象归到同一个簇中。
K-Means算法是一种聚类分析（cluster analysis）的算法，其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法。
K-Means算法主要解决的问题如下图所示。我们可以看到，在图的左边有一些点，我们用肉眼可以看出来有四个点群，但是我们怎么通过计算机程序找出这几个点群来呢？于是就出现了我们的K-Means算法
这个算法其实很简单，如下图所示：
从上图中，我们可以看到，A,B,C,D,E是五个在图中点。而灰色的点是我们的种子点，也就是我们用来找点群的点。有两个种子点，所以 K = 2 K=2 K=2 。
然后，K-Means的算法如下：
1．随机在图中取K（这里 K = 2 K=2 K=2 ）个种子点。
2．然后对图中的所有点求到这K个种子点的距离，假如点Pi离种子点Si最近，那么Pi属于Si点群。（上图中，我们可以看到A,B属于上面的种子点，C,D,E属于下面中部的种子点）
3．接下来，我们要移动种子点到属于他的“点群”的中心。（见图上的第三步）
4．然后重复第2）和第3）步，直到，种子点没有移动（我们可以看到图中的第四步上面的种子点聚合了A，B,C，下面的种子点聚合了D,E）。
这个算法很简单，重点说一下“求点群中心的算法”：欧氏距离（Euclidean Distance)：差的平方和的平方根
d i j = ∑ k = 1 n ( x i k − x j k ) 2 d_{ij}=\sqrt {\sum _{k=1}^{n}(x_{ik}-x_{jk})^{2}} dij=k=1∑n(xik−xjk)2
K-Means主要最重大的缺陷-都和初始值有关：
K是事先给定的，这个K值的选定是非常难以估计的。很多时候，事先并不知道给定的数据集应该分成多少个类别才最合适。（ISODATA算法通过类的自动合并和分裂，得到较为合理的类型数目K）
K-Means算法需要用初始随机种子点来搞，这个随机种子点太重要，不同的随机种子点会有得到完全不同的结果。（K-Means + + ++ ++ 算法可以用来解决这个问题，其可以有效地选择初始点）
总结：K-Means算法步骤：
1．从数据中选择k个对象作为初始聚类中心；
2．计算每个聚类对象到聚类中心的距离来划分；
3．再次计算每个聚类中心
4．计算标准测度函数，直到达到最大迭代次数，则停止，否则，继续操作。
5．确定最优的聚类中心
K-Means算法应用
看到这里，你会说，K-Means算法看来很简单，而且好像就是在玩坐标点，没什么真实用处。而且，这个算法缺陷很多，还不如人工呢。是的，前面的例子只是玩二维坐标点，的确没什么意思。但是你想一下下面的几个问题：
1）如果不是二维的，是多维的，如5维的，那么，就只能用计算机来计算了。
2）二维坐标点的X,Y坐标，其实是一种向量，是一种数学抽象。现实世界中很多属性是可以抽象成向量的，比如，我们的年龄，我们的喜好，我们的商品，等等，能抽象成向量的目的就是可以让计算机知道某两个属性间的距离。如：我们认为，18岁的人离24岁的人的距离要比离12岁的距离要近，鞋子这个商品离衣服这个商品的距离要比电脑要近，等等。
二、实战
重要参数：
·n_clusters：聚类的个数
重要属性：
·cluster_centers_:[n_clusters,n_features］的数组，表示聚类中心点的坐标
·labels_：每个样本点的标签
1、聚类实例
导包，使用make_blobs生成随机点cluster_std
In [ ]:
| 1 |
建立模型，训练数据，并进行数据预测，使用相同数据
In [ ]:1
In [ ]: 1
无监督的情况下进行计算，预测 现在机器学习没有目标
In [ ]:
| 1 |
绘制图形，显示聚类结果kmeans.cluster_centers
In [ ]:1
In [ ]: 1
2、实战，三问中国足球几多愁？
导包，3D图像需导包：from mpl_toolkits.mplot3d import Axes3D
读取数据
In [ ]:
| 1 |
列名修改为：“国家”，"2006世界杯＂,"2010世界杯”，"2007亚洲杯”
In [ ]:
| 1 |
使用K-Means进行数据处理，对亚洲球队进行分组，分三组
In [ ]:
| 1 |
for循环打印输出分组后的球队，argwhere()
In [ ]:
| 1 |
绘制三维立体图形，,ax = = = plt.subplot(projectio on’3d’) \text {on'3d')} on’3d’)
ax.scatter3D()
In [ ]:
3、聚类实践与常见错误
导包，使用make_blobs创建样本点
In [ ]:
| 1 |
第一种错误，k值不合适，make_blobs默认中心点三个
In [ ]:
| 1 |
第二种错误，数据偏差
trans = [ [ 0.6 , − 0.6 ] , [ − 0.4 , 0.8 ] ] \text {trans}=[[0.6,-0.6],[-0.4,0.8]] trans=[[0.6,−0.6],[−0.4,0.8]]
X 2 = np.dot ( X , trans ) X2=\text {np.dot}(X,\text {trans}) X2=np.dot(X,trans)
In [ ]:
| 1 |
第三个错误：标准偏差不相同cluster_std
| 1 |
In [ ]:
In [ ]:
| 1 |
第四个错误：样本数量不同
| 1 |
In [ ]:
In [ ]:
| 1 |
4、K-Means图片颜色点分类
导包from sklearn.metrics import pairwise_distances_argmin
In [ ]:
| 1 |
加载图片／创建模型／训练数据／获取labels
In [ ]:
| 1 |
使用pairwise_distances_argmin算法生成随机labels
In [ ]:
| 1 |
创造方法，重新合成图片
In [ ]:
| 1 |
数据可视化
In [ ]:
| 1 |
| 1 |
In [ ]:
三、作业
1、分析ex7data2.mat文件
找出最佳聚类数目，并画出聚类的中心点
from scipy.io import loadmat
from sklearn.cluster import KMeans
data = 1 \text {data}=1 data=1 oadmat(‘…/data/ex7data2.mat’)
X = data [ ′ X ′ ] \mathrm {X}=\text {data}\left[{}^{\prime }\mathrm {X}^{\prime }\right] X=data[′X′]
X.shape
2、图片压缩
使用聚类压缩图片
img = = = plt.imread(‘…/data/bird_small.png’)
img_shape = = = img.shape
img_shape