数据挖掘加工海量数据

来源 :中国计算机报 | 被引量 : 0次 | 上传用户:linfenrir
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  在这个信息爆炸的时代,互联网上丰富的信息给我们带来了无数机遇,同时也带来了挑战:如何从浩如烟海的数据中找到真正有用的信息?如何为企业用户带来所需要的行业资讯?
  对于上述问题,海量信息技术有限公司(简称海量公司)的副总裁兼首席科学家周富秋博士认为,通过采用智能计算技术,对海量信息进行筛选,从中可以得到用户真正想要的信息。对于智能计算技术,周富秋做了进一步的解释,该技术是建立在自然语言处理(Nature Language Process,NPL)基础上的,通过人工筛选的庞大语料库,按照事先设计的算法,对海量数据进行识别,从中找到对用户有用的信息和情报。
  周富秋所在的海量公司是一家成立于1999年、专注于中文智能计算和信息数据挖掘技术的民营企业。该公司沿着“字符到语义、非结构化到结构化”的技术路线,经过多年的技术积累,所研发的海量中文智能分词基础件已经广泛应用于腾讯、猫扑网、Myspace等大型网站。此外,海量公司还为微软、Autonomy、Askjeeves等国外公司提供中文智能计算技术,帮助他们实现软件本土化。
  周富秋将数据信息处理分为3个层次。为了更好地解释这3个不同的层次,他绘制了一个3层金字塔模型:位于底部的是数据,在其之上是筛选出来的信息,而在金字塔塔尖的就是经过技术提取的精华内容—情报。对于数据和信息的处理,周富秋认为目前主要采用了浅度智能自然语言处理技术(NPL Shallow),而通过这种方式提取出来的内容(数据和信息),主要是Google和百度等搜索引擎厂商正在从事的主要工作。而对于在数据和信息基础上进行精加工产生的精华—情报,则是海量公司正在致力去做的工作,而他们所采用的技术叫做深度智能自然语言处理技术(NPL Deep)。这种技术,周富秋认为正是海量公司的核心竞争力所在。
  目前,海量公司已经开发除了基于上述技术的数据挖掘产品“海纳”。该产品可以通过智能计算技术为网络媒体、行业门户、企业情报部门提供在线网络数据挖掘服务。“海纳”可以自动对指定的网站页面进行监控,对于所发现的新增页面及时提示,并对重复信息进行归总。用户只需要单击鼠标,就可以对网页内容进行转载收录。“海纳”运用智能计算技术,替代人工完成大量信息加工工作,简化编辑工作,经过深度加工提升信息价值。海纳是一款在线产品,用户所有操作都是在客户端完成,而其所有的智能分析和自然语言处理工作均在海量公司的专用机房内完成。据产品总监沈止戈介绍,该公司目前为“海纳”投入了100台大型服务器。
  对于自然语言处理来说,语料库是一切工作的基础。沈止戈透露,他们拥有国内最大规模的语料库(北京大学的语料库位居第二),而该公司有近20名语言方面的专业人士每天不停地更新语料库,保证对于新词的收录。而这样做,就保证了对于中文语句分词的机器识别准确率。
  海量公司下一步的研究重点将主要集中在对数据信息的深度加工,并且针对不同用户需求提炼出有用的情报信息,为用户决策提供依据。沈止戈向记者演示了一个实例。海量公司对于某体育网站近期的NBA相关新闻进行加工,通过数据挖掘技术从中得出NBA各球队的相关情报。计算机通过分析,很快就生成了一份报表,报表中显示太阳队的后卫名叫纳什,主教练名叫安东尼。
其他文献
继用友、金蝶召开战略发布会后,浪潮于3月22日在北京召开主题为“亮剑2006——浪潮ERP战略发布会”,正式公布其2006财年产品、市场、渠道等各项战略。此次战略在以往“引领高端、专注行业”的基础上进一步拓展,首次将“突破渠道”作为明确战略重点提出。2006财年,浪潮ERP将全面推行三大战略转变:业务架构方面由引领高端转变为高、低兼顾,营销策略方面由积极跟进转变为全面出击,研发模式由内部研发为主向
从2006年末英特尔发布首款4核芯片,到2007年9月11日,AMD挟Barcelona正面迎战,X86芯片市场的4核大战终于全面展开。  自从CPU在主频上的竞争宣布告一段落之后,短短几年,X86处理器的战火已经从单核烧到双核,并迅速烧到了4核。  9月11日,让业界望眼欲穿的Barcelona在数次跳票之后终于如期发布,X86芯片市场的4核大战终于全面爆发。  从多核未来走向来看,正如英特尔公
在一些软件公司的项目开发过程中可能会出现这样的情景:一个项目组承接了一个比较大的项目,客户的需求很明确,开发的过程似乎也很顺利,可是最终开发出来的产品在实际应用中效率很低,很难达到客户对性能的要求。这中间到底出现了什么问题?如果开发人员能从始至终监控整个开发过程,在项目出现偏差时及时收到报告,并做出调整,其结果可能是另  一番景象。    自上而下    需求变更是软件开发人员面临的最大难题,很少
Juniper E120宽带服务路由器    当前,IPTV正在全球范围内迅速发展,用户通过机顶盒可轻松享受到内容丰富的多重播放服务。但是,用户究竟看了哪些频道,哪些频道的内容最受欢迎,IPTV的广告商们并不十分清楚。他们一直都在追求更好的廣告监测和投放效果,但是,IPTV服务的广告投放结果目前却很难测定。  由此,Juniper网络公司于7月12日推出了紧凑的下一代E120宽带服务路由器(BSR
陈恺新    问:为什么标准作业流程是企业效率提升的重要依靠?  陈恺新:在知识经济时代,除了产品之外,企业更关键的竞争优势在于成本最低或差异化。由于不同的成长经历、性格、学识和经验,员工做事情的方式和步骤可能各不相同,很难做到企业对所有规章、标准和流程的正确贯彻。此外,由于一些职位的变动,新员工需要花费一些时间去熟悉公司的流程以及业务内容。  标准作业流程(SOP)文件是业务运作与公司治理的重要
在门户、B2B、B2C、C2C之后,互联网的下一个金矿在哪里?4月18日,当软银赛富基金合伙人羊东正式宣布给58同城分类网注资几百万美元之时,人们似乎看到了一片新的互联网商机:分类信息。  4月18日,当风传了好久的软银几百万美元终于投向58同城分类网(www.58.com)、开创风险投资首度青睐中国本土分类信息网站先河时,人们募然回首,才发现这个腥风血雨的分类信息市场已经开始分化,下一轮的竞争将
目前,P2P技术在国内的应用普及,已经让不少网络电视平台渐成风靡。但是,对大多数网友而言,是绝不会仅仅局限于在网络上看看电视这么简单,所以才有了像磊客中国ROX客户端这样的流媒体播放器的出现。   近日,光芒传媒旗下“磊客中国”网站推出了一个名为“RoxTV”的P2P流媒体播放软件。相信大家对于Coolstreaming这一流媒体播放技术不会陌生,RoxTV正是Coolstreaming技术研发的
一方面,电子卖场数量严重过剩;另一方面,还不断有新卖场开张。连锁经营、MALL化升级、定位窄众,越来越多的电脑卖场开始注重秀出自己的特色。  随着我国信息化进程的不断深入,全国各地的IT卖场也从过去的一枝独秀进入百家争鸣的时代。IT卖场作为一个面对最终消费者的交易场所,目前华南IT卖场业界的现状如何?新老IT卖场之间的博弈如何?这些都是整个华南IT业的厂商和渠道商所关注的。    数量暴增 档次升
随着LCD显示器的不断降价,越来越多的网吧开始在网吧内普及LCD显示器。    厂商:看好网吧市场    本期,中国计算机报调研中心对20家显示器厂商进行了调查。调查数据显示,100%的调查对象认为,LCD显示器是网吧未来显示器采购的绝对主流,CRT显示器已成明日黄花。由此可见,配置LCD显示器做为台式PC发展的大趋势在网吧行业也不例外。  虽然CRT显示器在屏幕响应时间、刷新率、色彩表现等方面具
中国计算机报IT实验室      现代的市场竞争需要企业更加关注产业链,加强与上下游企业之间的合作。供应链管理(SCM)是实现这一目标的有效工具。  但SCM与ERP、CRM的关系该怎样处理?分销型企业有哪些具体而特殊的需求亟待SCM来满足?本期专题,我们通过分析SCM的市场和技术发展趋势,总结选型策略,解析推荐解决方案来为用户提供选型参考。    2002~2006年中国SCM软件市场投资规模及