基于Spark的大规模社交网络社区发现原型系统

叶小榕¹, 邵晴²

1. 中国科学技术信息研究所, 北京 100038;
2. 北龙中网(北京)科技有限责任公司, 北京 100190

摘要 为有效发掘大规模社交网络上的用户信息，提高对用户之间关系的深入了解，设计开发了基于Spark的大规模社交网络社区发现原型系统。系统利用ActiveMQ实现对大量用户数据的抓取，使用基于Spark的MLlib提供的朴素贝叶斯算法对用户数据进行清洗，利用Spark的GraphX提供的PageRank算法和MLlib提供的Z-Score算法计算用户排名，最终应用并优化LPA算法，将特征相近、联系较密切的用户快速地划分到同一社区中，为进一步分析利用社区用户数据打下了基础。

关键词 Spark,  GraphX,  MLlib,  社区发现 

（责任编辑  陈广仁）

http://www.kjdb.org/CN/Y2018/V36/I23/93