【摘要】 本发明公开了一种高效的关联主题模型数据处理方法及其系统，其方法为在任务初始化阶段，首先通过主控节点给出初始模型M0并将其同步到所有的计算节点上，然后划分任务集并将其分布到多个计算节点上进行计算；在任务执行阶段，需要进行若干数据处理，每一轮中首先是每个计算节点的工作线程进行局部并行计算获得关于该节点文档子集的主题分布和模型统计量，并传送到主控节点进行汇总并判断数据处理结果是否收敛。本发明的系统包括一个主控节点和多个计算节点，构成一个集群计算机系统进行并行计算。本发明可以显著提高计算速度和扩大计算目标。 微信 【专利类型】发明授权 【申请人】中国科学院软件研究所 【申请人类型】科研单位 【申请人地址】100190 北京市海淀区中关村南四街4号 【申请人地区】中国 【申请人城市】北京市 【申请人区县】海淀区 【申请号】CN200810057989.4 【申请日】2008-02-22 【申请年份】2008 【公开公告号】CN101226557B 【公开公告日】2010-07-14 【公开公告年份】2010 【授权公告号】CN101226557B 【授权公告日】2010-07-14 【授权公告年份】2010.0 【IPC分类号】G06F17/30 【发明人】李文波; 孙乐 【主权项内容】一种高效的关联主题模型数据处理方法，其步骤为：初始化阶段：1)在每个节点计算机上根据该节点自身的处理器的数量和每个处理器所含的内核数量或支持的超线程数量自动生成具有相应数量工作线程的计算服务；2)主控节点给出初始模型并将其复制到所有的计算节点上；3)主控节点将任务文档全集划分成若干计算节点文档子集，并分配给相应计算节点；迭代阶段：1)各计算节点对接收到的节点文档子集进行数据处理，得到该节点文档子集中每篇文档的主题分布，该节点文档子集的模型统计量以及文档计算时间；2)各计算节点将数据结果返回给主控节点；3)主控节点利用文档计算时间判断计算节点文档子集划分的均衡性，如果不均衡则重新调整计算节点文档子集的划分并分配到相应的计算节点上；4)主控节点汇总各计算节点的模型统计量，迭代本次模型并判断其收敛性：如未收敛则重复迭代阶段，否则结束数据处理。 【当前权利人】中国科学院软件研究所 【当前专利权人地址】北京市海淀区中关村南四街4号 【统一社会信用代码】121000004000123696 【被引证次数】2 【被自引次数】2.0 【家族引证次数】4.0 【家族被引证次数】41
