不平衡数据分类在航空安全领域定义抽取中的应用

被引量 : 0次 | 上传用户:lrg123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着国内航空业的发展,航空安全成为人们关注的焦点之一,人们对航空从业人员的要求越来越高,因此对航空业培训的需求也迅速提高。目前国内主要的几家航空公司的培训教材主要来源于各种飞行手册和维修手册,这种培训教材和考核试题一般由相关技术人员手工编写。通过实现计算机快速高效地生成培训课件和考核试题,从而减少工作人员手工搜集定义句的工作量,本文进行了航空安全领域术语定义自动抽取的研究。本文研究的是信息抽取的一种常用方法,可以有效地从语料库中抽取到定义句,具备一定的工程实用价值。本文主要进行了以下工作:首先,对航空安全领域教材进行选材、采集和标注,对语料进行预处理,在原有的基础上扩充了语料库,为以后的研究提供基础;其次,研究了信息抽取方法,采用决策树C4.5方法进行分类。由于决策树方法存在过拟合现象,需要对其进行剪枝以避免过拟合现象,本文介绍了常用的四种后剪枝方法分别是REP方法、PEP方法、MEP方法和CCP方法,并分析了四种方法对于各种数据集分类效果的优劣,适用的数据集;同时由于本文针对的是非平衡数据集,根据麦克劳林公式对每个结点进行等价无穷小替换,从而提高分类的效率。最后结合上面两种方法改进C4.5算法,将WEKA平台中的源代码导入Eclipse中进行二次开发;根据实验结果的数据分析得出,采用PEP剪枝方法得到的决策树在训练集或测试集上的分类误差率普遍降低,树的规模明显减小,宏平均F1、F2的值得到了明显的提高。
其他文献
神仙体系是一个宗教得以存在的重要元素,神灵崇拜是道教信仰的核心。原题南朝齐梁高道陶弘景所作的《真灵位业图》是中国道教史上第一部系统的神仙谱系,现存于明《正统道藏》
合成孔径雷达(SAR)具有全天候、全天时以及穿透能力强等特点,在军事和民用领域均有着广泛的应用。然而,SAR成像信息不仅与地物类型有关,也与雷达观测角、地物复介电常数、雷
我国民航运输业迅猛发展的同时,民航安全管理理念也越发深入人心。安全管理主要由政策、风险管理、安全保证、安全促进四个要素组成,主要是要求民航企业能够采取系统的安全管
涂尔干的图腾理论是在批判前人尤其是泰勒、弗雷泽等人的图腾学说的基础上提出的,与古典人类学家不同,他不再是从知识论的角度认识图腾现象,而是从社会学的角度认识这一现象,
全球化进程为社会各领域带来巨大的进步和变化,对于教育领域亦是如此。高科技的出现、交通的发达拓宽了人的生存空间,也缩小了全球的距离,促使世界逐渐变为一个联系紧密的整
飞行安全是民航安全管理的主要内容,也是最重要、最复杂的内容,而安全是民航生存发展的基础。因此,对飞行安全管理进行研究,以及建立一套完善有效的航空安全管理体系对保证航
<正>HR来信:我公司有一名员工于2012年5月4日入职,2013年8月26日辞职,因我公司未及时与其订立劳动合同,该员工于2013年9月17日提请仲裁要求公司支付双倍工资,该员工在职期间
中国文献纪录片几乎同步参与了世界文献纪录片的发展历程,并做出了自己的贡献。从历时的角度观察,所谓文献纪录片,是指围绕特定目标和主题,利用实物性历史文献、实地拍摄的空
《黄河东流去》、《穆斯林的葬礼》和《尘埃落定》作为茅盾文学奖推举出的当代优秀的少数民族文学文本,在横向上共同显示了独特的文化视角和巨大的文化涵量,艺术呈现了少数民
<正>朱正东,中华会计网校创始人,正保远程教育董事长、CEO兼总裁。正保远程教育成立于2000年,专业从事网络教育和培训,目前有17个不同的行业网站,包括学前教育、中小学教育、