【摘 要】
：
意图分类是一种特殊的短文本分类方法,其从传统的模板匹配方法发展到深度学习方法,基于BERT模型的提出,使得大规模的预训练语言模型成为自然语言处理领域的主流方法。然而预
【机 构】
：
中国科学技术大学计算机科学与技术学院,中国科学技术大学软件学院
【基金项目】
：
科技创新2030-“新一代人工智能”重大项目(2018AA000500);广东省科技计划项目(2017B010110011);2019年华为-中国科大基础系统软件联合创新项目;国家自然科学基金项目(U1613216)
论文部分内容阅读
意图分类是一种特殊的短文本分类方法,其从传统的模板匹配方法发展到深度学习方法,基于BERT模型的提出,使得大规模的预训练语言模型成为自然语言处理领域的主流方法。然而预训练模型十分庞大,且需要大量的数据和设备资源才能完成训练过程。提出一种知识蒸馏意图分类方法,以预训练后的BERT作为教师模型,文本卷积神经网络Text-CNN等小规模模型作为学生模型,通过生成对抗网络得到的大量无标签数据将教师模型中的知识迁移到学生模型中。实验数据包括基于真实场景下的电力业务意图分类数据集,以及通过生成对抗网络模型生成的大量无
其他文献
随着《中华人民共和国公务员法》的颁布实施，我国的公务员制度建设走上了制度化、规范花、法制化的轨道。但是与英美等国的公务员制度相比，我国的公务员制度发展的时间较短，制度
通过对近20年丙型肝炎中医药治疗文献分析,发现由于丙肝中医药临床治疗的时间较短,存在病因病机认识不一、辨证分型和疗效缺乏标准、治疗手段单一、临床试验方法有待提高等问
分数阶微积分理论的发展推动了分数阶微积分在各个领域的广泛应用,分数阶控制算法的研究也成为近几年的研究热点。目前分数阶控制理论的研究主要集中在理论分析,对于目前所研
为了便于设计高性能的EMI滤波器，分析了滤波器寄生参数对其高频特性的影响。依据各元器件寄生参数的特点及其相互间的耦合关系，建立了差模滤波器的高频模型。在模型的基础上采
为验证太阳能三联供系统在我国北方村镇民宅应用的经济性,介绍了适用于我国北方村镇民宅的新型太阳能暖冷热三联供系统的结构与特点,并从经济效益分析其优势,结论表明:太阳能
近些年来,我国经济的快速发展使得国家愈发重视起基础性设施建设的问题,高速公路建设项目因此应运而生,发展尤为显著,但是与此同时,高速公路建设中也面临着诸多的问题,为确保
东莱赵氏家族是近代莱州重要的地方性家族,民国二十四年的《东莱赵氏家乘》为赵氏家谱的七修本。《东莱赵氏家乘》的修撰者赵琪为近代山东地方重要人物,《家乘》为了解近代山
为了应对因大气中CO2含量大幅增加而导致的全球气候变暖,通过造林再造林增加森林CO2吸收汇,已成为减少CO2排放之外的一项重要措施。造林再造林项目的碳汇能力会受制于与其相
U型防渗渠作为重要的节水措施之一，在平原地区渠系配套工程已被广泛推广应用。近几年在平原区引进了不少先进的U型渠施工机械，成立了专业施工队伍，建立了U型渠防渗网。根据施工
清末的经济政策与措施徐卫国甲午战后，内外交困的清朝政府曾被迫调整其经济政策与措施，本文是对这一过程的初步考察。一、清政府的反省与经济政策的变化１．“图强”“求富”举措的