【摘 要】
：
SimHash算法是目前主流的文本去重算法,但它对于特定行业的文本数据在主题方面的天然相似性特点并没有特殊的考虑.基于多年在金融证券行业信息管理和数据整合的经验,本文分析
【机 构】
：
国泰君安证券股份有限公司上海,华存数据信息技术有限公司上海
【基金项目】
：
国家科技支撑计划课题“证券与金融产品交易综合服务示范”资助(编号:2012BAH13F03)
论文部分内容阅读
SimHash算法是目前主流的文本去重算法,但它对于特定行业的文本数据在主题方面的天然相似性特点并没有特殊的考虑.基于多年在金融证券行业信息管理和数据整合的经验,本文分析目前文本去重方法存在的问题,特别针对SimHash算法在特定行业文本去重中的不足,创新地提出一种基于段落主题的文本去重方法（简称DRPKP算法）,通过对去重准确率、覆盖率和去重时间3个指标进行对比测试,DRPKP算法比SimHash算法准确率可提高24.5％、覆盖率可提高16.34％,且去重时间更短.
其他文献
【目的】建立广藿香油中胡薄荷酮的高效液相色谱测定法。【方法】采用高效液相色谱法（high performance liquid chromatography,HPLC）测定10个批次广藿香油中胡薄荷酮的含量。
总结了重症急性胰腺炎合并急性呼吸窘迫综合征患者的护理。主要包括基础护理、心理护理、机械通气的护理及营养支持等,认为该疾病死亡率高,早期进行综合治疗及精心护理能够降
颜色词不仅丰富了英法两种语言的表达形式,也能让人们了解两种文化的不同心理特质。英法虽系出同源,但颜色词的用法与内涵还是有很多不同之处,值得总结梳理。
总结了14例腹腔镜Roux-en—Y胃旁路手术治疗肥胖症的围手术期护理方法和特点。主要护理措施包括：患者术前评估、心理护理、术后整体护理及预防并发症。结果表明，围手术期护理对
目的探讨短期胰岛素泵持续皮下注射胰岛素（CSII）对初诊2型糖尿病患者的强化治疗效果。方法选取60例初诊2型糖尿病住院患者，随机分成2组，强化组（30例）和常规组（30例），前者使用胰岛素泵1
ue＊M＃’＃dkB4＃＃8＃”专利申请号:00109“7公开号:1278062申请日:00.06.23公开日:00.12.27申请人地址:（100084川C京市海淀区清华园申请人:清华大学发明人:隋森芳文摘:本发明属于生物技