【摘 要】
：
针对循环神经网络模型无法直接提取句子的双向语义特征,以及传统的词嵌入方法无法有效表示一词多义的问题,该文提出了基于ELMo和Transformer的混合模型用于情感分类。首先,该
【机 构】
：
浪潮集团金融信息技术有限公司,济南大学信息科学与工程学院,山东大学控制科学与工程学院
【基金项目】
：
国家重点研发计划云计算和大数据重点专项(2016YFB1001100,2016YFB1001104),国家自然科学基金青年项目(61702218)。
论文部分内容阅读
针对循环神经网络模型无法直接提取句子的双向语义特征,以及传统的词嵌入方法无法有效表示一词多义的问题,该文提出了基于ELMo和Transformer的混合模型用于情感分类。首先,该模型利用ELMo模型生成词向量。基于双向LSTM模型,ELMo能够在词向量中进一步融入词语所在句子的上下文特征,并能针对多义词的不同语义生成不同的语义向量。然后,将得到的ELMo词向量输入Transformer模型进行情感分类。为了实现分类,该文修改了Transformer的Encoder和Decoder结构。ELMo和Trans
其他文献
医疗问题诉求分类属于文本分类,是自然语言处理中的基础任务。该文提出一种基于强化学习的方法对医疗问题诉求进行分类。首先,通过强化学习自动识别出医疗问题中的关键词,并
传统上神经机器翻译依赖于大规模双语平行语料,而无监督神经机器翻译的方法避免了神经机器翻译对大量双语平行语料的过度依赖,更适合低资源语言或领域。无监督神经机器翻译训
在评论情感分析的研究中,和评论相关的用户与产品信息对于提高情感分类的准确率有很大的帮助。为了能够有效地利用产品和用户信息,并构建产品和用户信息与评论之间的关联,该
近几年,神经网络因其强大的表征能力逐渐取代传统的机器学习成为自然语言处理任务的基本模型。然而经典的神经网络模型只能处理欧氏空间中的数据,自然语言处理领域中,篇章结
近年来,随着人工智能技术的发展,更多数据被利用,数据驱动的端到端闲聊机器人技术得到快速发展,受到了学术界和工业界的广泛关注。但是对于闲聊机器人的评价,现在没有标准的
神经机器翻译凭借其良好性能成为目前机器翻译的主流方法,然而,神经机器翻译编码器能否学习到充分的语义信息一直是学术上亟待探讨的问题。为了探讨该问题,该文通过利用抽象
随着环保要求日益严格,以及炼化企业污水复杂多样,炼化污水处理厂运行成本大幅度增加,节能降耗成为诸多企业内部挖潜增效的有效途径.以某炼化污水处理厂运行为实例,在确保污
捕捉客户来电意图信息,开展客户来电意图识别研究具有重要意义。现有的客户来电意图识别大都是采用人工分析方法,尚没有采用机器学习、深度学习模型识别客户来电意图的研究。
关系分类是自然语言处理领域中重要的语义处理任务,随着机器学习技术的发展,预训练模型BERT在多项自然语言处理任务中取得了大量研究成果,但在关系分类领域尚有待探索。该文
中国中文信息学会自然语言生成与智能写作专业委员会(筹)发起会议于2021年3月30日在北京举行。学会名誉理事长李生教授,副理事长兼秘书长孙乐研究员,专委会筹委会主任赵铁军