vlambda博客
学习文章列表

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
%matplotlib inline
# 导入数据
df_original = pd.read_csv('../input/USArrests.csv',index_col=0)
# 将数据标准化
df = (df_original-df_original.mean())/df_original.std()

   K-means聚类之类的划分方法背后的基本思想是定义类簇，以使总的簇间离散程度（或者说簇间距离平方和）最小化，这衡量了类簇的紧凑性，我们希望它尽可能小。

    手肘法将簇间误差平方和看成是类簇数量k的函数。随着k的增加，每个类簇内的离散程度越小，总距离平方和也就在不断减小，并且减小的程度越来越不明显。极限情况是当k=N时，每个类簇只有一个点，这时总的误差平方和为0。手肘法认为我们应该选择这样的k：当k继续增大时，总误差平方和减少的趋势不再明显，也就是“拐点”处。具体过程如下：

      需要注意的是，手肘法有时并不显著。替代方案是平均轮廓系数（Kaufman and Rousseeuw 1990），这个指标同样适用于任何的聚类方法。

代码和结果如下：

SSE = []  # 存放每次结果的误差平方和
for k in range(1,11):
    estimator = KMeans(n_clusters=k)  # 构造聚类器
    estimator.fit(df)
    SSE.append(estimator.inertia_)
X = range(1,11)
plt.xlabel('k')
plt.ylabel('SSE')
plt.plot(X,SSE,'o-')
plt.show()

    可以观察到当k=4时是明显的拐点，误差平方和减少的趋势不再明显。所以手肘法的最佳类簇数量是4。

      平均轮廓系数方法衡量了聚类结果的质量，即衡量每个点被放到当前类簇有多合适，平均轮廓系数很高意味着聚类的结果很好。这种方法计算不同k值下，所有点的平均轮廓系数，能够使平均轮廓系数最大的k就是最优的类簇数量（Kaufman and Rousseeuw 1990）。

      具体的过程与手肘法是相似的：

 

1. 选择一个聚类算法（例如K-means），计算不同k时的聚类结果，例如k可以取为0～10。

2. 对于每个k，计算所有观测点的平均轮廓系数。

3. 画出这个指标随着k变化的曲线。

4. 曲线中最高点对应的k就是最优聚类数量。

       代码和结果如下：

from sklearn.metrics import silhouette_score
Scores = [0]  # 存放轮廓系数,根据轮廓系数的计算公式，只有一个类簇时，轮廓系数为0
for k in range(2,11):
    estimator = KMeans(n_clusters=k)  # 构造聚类器
    estimator.fit(df)
    Scores.append(silhouette_score(df,estimator.labels_,metric='euclidean'))
X = range(1,11)
plt.xlabel('k')
plt.ylabel('silhouette')
plt.plot(X,Scores,'o-')
plt.show()

       当k=2时，轮廓系数取最大值，所以选择2作为最优类簇数量。

      是斯坦福大学的三位教授在2001年的一篇论文中(R. Tibshirani, G. Walther, and T. Hastie, 2001)提出来的，可用于任何的聚类方法。Gap Statistic的主要思想是比较不同k时原始数据的簇内偏差总和与数据在均匀分布推断下的簇内偏差总和。使Gap Statistic这个统计量达到最大值意味着此时的聚类结果结构与随机均匀分布产生的数据的聚类结果差别最大，此时的k就是最优的k。算法如下：

     流行的做法是直接选择最大的Gap(k)所对应的k作为最优k，也就是忽略上述的第四步。需要注意的是当B=500时，W_kb是非常精确的，在下一次迭代中基本保持不变。

代码和结果如下：

# 函数gap_statistic的代码限于篇幅，此处省略，请点击阅读原文
gaps = gap_statistic(df.to_numpy(), 11,50,KMeans)[0]
X = range(1,11)
plt.xlabel('k')
plt.ylabel('Gap Statistic')
plt.plot(X,gaps,'o-')
plt.show()

可以观察到，当k取4时gap值最大，所以4是最优类簇数量。

所有代码和数据都放置在了Kaggle平台：https://www.kaggle.com/pzjzeason/determining-the-optimal-number-of-cluster，复制链接或者点击阅读原文，在电脑上查看该notebook。除了文中介绍的三种方法，也给出了scikit-learn中其他的一些指标。