【摘要】 本发明公开了一种基于隐含狄利克雷分配模型的并行数据处理方法，属于数据挖掘领域，该方法包含了多进程并行处理、多线程并行处理和复合多进程多线程处理三种方案，在这三种方案中都将要处理的数据DM分成长度为等长或不等长的数据片段，每个数据片段都有一个索引，每个计算进程/线程通过申请索引来处理对应的数据片段，进而获得每个数据项的主题信息并生成局部充分统计量；处理完整个DM后，通过归并局部充分统计量，得到全局充分统计量，即可估计得到当前模型Mi，直到该模型收敛。该方法能够充分利用单机上的多内核并行架构和多机上的机群大规模并行能力，进而实现对大规模文本集合的高速处理，并能有效降低并行处理过程中内存的使用量。 【专利类型】发明授权 【申请人】中国科学院软件研究所 【申请人类型】科研单位 【申请人地址】100190 北京市海淀区中关村南四街4号 【申请人地区】中国 【申请人城市】北京市 【申请人区县】海淀区 【申请号】CN200810126728.3 【申请日】2008-06-20 【申请年份】2008 【公开公告号】CN101359333B 【公开公告日】2010-06-16 【公开公告年份】2010 【授权公告号】CN101359333B 【授权公告日】2010-06-16 【授权公告年份】2010.0 【IPC分类号】G06F17/30 【发明人】李文波; 孙乐 【主权项内容】一种基于隐含狄利克雷分配模型的并行数据处理方法，对于多进程并行处理，其步骤包括：1)根据节点计算机的硬件并发能力自动生成具有相应数量计算进程；2)输入要处理的数据集，随机给出初始模型M0；3)将数据集分成若干数据片段，每个数据片段包含若干文档，且数据片段的长度远小于文档数，每个数据片段有一个索引；4)每个计算进程申请一个索引处理相应数据片段，并计算生成局部充分统计量；5)归并局部充分统计量，得到全局充分统计量，进而估计得到当前模型Mi；6)判断模型Mi是否收敛，收敛则完成计算，否则从步骤3)开始循环。 【当前权利人】中国科学院软件研究所 【当前专利权人地址】北京市海淀区中关村南四街4号 【统一社会信用代码】121000004000123696 【引证次数】3.0 【被引证次数】2 【他引次数】3.0 【被他引次数】2.0 【家族引证次数】3.0 【家族被引证次数】25
