【摘 要】
：
随着专利申请数量的快速增长,对专利文本实现自动分类的需求与日俱增。现有的专利文本分类算法大都采用Word2vec和全局词向量(GloVe)等方式获取文本的词向量表示,舍弃了大量词语的位置信息且不能表示出文本的完整语义。针对上述问题,提出了一种结合ALBERT和双向门控循环单元(BiGRU)的多层级专利文本分类模型ALBERT-BiGRU。该模型使用ALBERT预训练的动态词向量代替传统Word2v
【机 构】
：
湖北大学计算机与信息工程学院,湖北省软件工程工程技术研究中心,湖北省智慧政务与人工智能应用工程研究中心
【基金项目】
：
国家自然科学基金面上项目(61977021),国家自然科学基金青年科学基金资助项目(61902114),2019年湖北省技术创新专项(2019ACA144)
论文部分内容阅读
随着专利申请数量的快速增长,对专利文本实现自动分类的需求与日俱增。现有的专利文本分类算法大都采用Word2vec和全局词向量(GloVe)等方式获取文本的词向量表示,舍弃了大量词语的位置信息且不能表示出文本的完整语义。针对上述问题,提出了一种结合ALBERT和双向门控循环单元(BiGRU)的多层级专利文本分类模型ALBERT-BiGRU。该模型使用ALBERT预训练的动态词向量代替传统Word2vec等方式训练的静态词向量,提升了词向量的表征能力;并使用BiGRU神经网络模型进行训练,最大限度保留了
其他文献
现有的生物医学命名实体识别方法没有利用语料中的句法信息,准确率不高。针对这一问题,提出基于句法依存分析的图网络生物医学命名实体识别模型。首先利用卷积神经网络(CNN)生成字符向量并将其与词向量拼接,然后将其送入双向长短期记忆(BiLSTM)网络进行训练;其次以句子为单位对语料进行句法依存分析,并构建邻接矩阵;最后将BiLSTM的输出和通过句法依存分析构建的邻接矩阵送入图卷积网络(GCN)进行训练,
针对行人属性识别任务中不同属性对特征粒度和特征依赖性的需求不同的问题,提出了一种基于由空间自注意力机制和通道自注意力机制组成的双域自注意力机制的行人属性识别模型。首先,使用ResNet50作为骨干网络,提取出具有一定语义信息的特征;然后将得到的特征分别输入到双分支网络中,提取具有空间依赖性与语义相关性的自注意力特征以及整体性信息的全局特征;最后,融合双分支的特征,并利用批归一化(BN)和加权损失的
针对移动机器人在仓储环境下的路径规划问题,提出了一种基于离子运动的人工蜂群(IM-ABC)算法用于路径规划。该方法为提高传统的人工蜂群(ABC)算法在路径规划中的收敛速度和搜索能力,采用一种模拟离子运动规律来更新蜂群的策略。首先,在算法前期利用离子运动算法中的阴阳离子交叉搜索来更新引领蜂和跟随蜂,从而引导种群进化方向,极大提高种群开发能力;其次,在算法后期为了避免前期过早收敛导致局部最优,引领蜂采
为了提高利用图像处理技术进行四轴飞行器避障的实时性,提出一种基于贝叶斯估计与区域划分遍历的避障路径规划算法。首先,通过贝叶斯估计来对四轴飞行器采集到的视频图像进行预处理;其次,对采集到的图像进行障碍物概率分析以获取视频图像中的关键帧,最大限度地提高四轴飞行器的实时性;最后,对选取的图像帧进行背景差分实现障碍物识别,并通过实现基于区域划分的像素点遍历算法提高障碍物识别的准确性。实验结果表明,在保证障
工业控制系统是承载国家经济发展的重要基础设施,随着信息化和工业化的深度融合,工业控制系统信息安全形势日益严峻。工控系统渗透测试作为一种了解工业控制系统安全情况的重
对伯克利蓝莓生长的3个关键期即发芽前、初夏、秋季时,施用3种肥料即硫酸铵、磷酸二铵、氮磷钾复合肥,每株按3个不同的施肥总量即25g、50g、100g进行搭配施肥试验,研究对蓝莓
针对传统遗传算法收敛速度慢、容易陷入局部最优、规划路径不够平滑、代价高等问题,提出了一种基于改进遗传算法的无人机(UAV)路径规划方法,该算法对遗传算法的选择算子、交叉算子和变异算子进行改进,从而规划出平滑、可飞的路径。首先,建立适合UAV田间信息获取的环境模型,并考虑UAV的目标函数与约束条件以建立适合本场景的更为复杂、精确的数学模型;然后,提出了混合无重串选择算子、非对称映射交叉算子和启发式多
针对大多数现有主流兴趣点(POI)推荐算法忽略了融合用户复杂动态偏好和一般静态偏好建模的复杂性问题,提出一个融合复杂动态用户偏好和一般静态用户偏好的POI推荐算法CLSR。首先,在复杂动态偏好建模过程中,基于用户的签到行为及其中的跳过行为设计一个混合神经网络,实现用户的复杂动态兴趣的建模;其次,在一般静态偏好建模过程中,利用高阶注意力网络学习用户与POI之间复杂的交互关系;然后,利用多层神经网络进
江苏横跨江南茶区和江北茶区,茶叶生产历史悠久。介绍了江苏省茶叶生产现状,分析了茶产业的特点与发展优势,提出了未来茶产业的发展趋势。
在“十三五”收官岁末、“十四五”开启之际,由国家苹果产业技术体系、中国园艺学会苹果分会、中国苹果产业协会主办,山东省果树研究所、山东园艺学会承办的全国苹果产业高质