论文部分内容阅读
提出并实现了一种带衰减因子的词共现模型,可以自动生成包含词与词相关性信息的资源.由于该模型考虑了词与词之间距离的概念,同普通的词共现模型相比,该模型更能准确地描述词与词之间的相关性信息.但因该模型在大规模语料处理中的计算量非常巨大而难以在传统的串行环境下实现.克服这一困难的有效方法是建立并行计算环境下的词共现模型计算模式,通过MPI并行群集环境下成功地实现了该模型的计算,取得了理想的加速比和并行效率,为中文信息处理基础资源的建设迈出了实质性的一步.