对百万量级的数据如何快速聚类？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2344 天前的主题，其中的信息可能已经有所发展或是发生改变。

我有 100 万条数据，每个数据是一个 200 维的向量，考虑对它们进行聚类。目前尝试了 scipy 的 k-means 聚类算法，但是半天没有结果。计算平台是 windows 7，内存 16G。

5 条回复 • 2019-08-23 17:33:49 +08:00

xxxy

2019 年 8 月 15 日

有 gpu 的话可以用 tensorflow 的 k means，应该会快十几倍吧

ipwx

2019 年 8 月 15 日

pwrliang

2019 年 8 月 15 日 via Android

上分布式吧，用 Spark 写个 K-means

shidenggui

2019 年 8 月 15 日

pca 降维，再聚类

gazhang

2019 年 8 月 23 日

最后还是在好点的机器上跑了，大概半小时。