面向视觉问答的跨模态交叉融合注意网络

来源 :计算机应用 | 被引量 : 0次 | 上传用户:xiaoxiaoaisc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了提高视觉问答模型回答复杂图像问题的准确率,提出了面向视觉问答的跨模态交叉融合注意网络(CCANs)。首先,提出了一种改进的残差通道自注意方法对图片进行注意,根据图像整体信息来寻找重要区域,从而引入一种新的联合注意机制,将单词注意和图像区域注意结合在一起;其次,提出一种“跨模态交叉融合”网络生成多个特征,实现将两个动态信息流整合到一起,每个模态内产生有效的注意流,其中对联合特征使用逐元素相乘的方法。此外,为了避免计算成本增加,网络之间共享参数。在VQA v1.0数据集上的实验结果表明,该模型的准确
其他文献
传统关于偏好推理、偏好查询的研究主要集中在对关系元组表示的单个对象的偏好上,而将时间条件偏好查询的方法扩展到数据流的提取序列中是一个挑战,遇到的问题主要包括对数据流中序列的提取、快速处理以得到占优序列和占优对象等。针对偏好数据流,首先,扩展了连续查询语言(Continuous Query Language,CQL),提出专门为有效处理数据流上的时间条件偏好查询语言StreamSeq,它允许对数据流
期刊
高准确率的资源负载预测能够为实时任务调度提供依据,从而降低能源消耗。但是,针对资源负载的时间序列的预测模型,大多是通过提取时间序列的长时序依赖特性来进行短期或者长期预测,从而忽略了时间序列中的短时序依赖特性。为了更好地对资源负载进行长期预测,提出一种基于长-短时序特征融合的边缘计算资源负载预测方法。该方法先利用格拉姆角场(GAF)将时间序列转变为图像格式数据,以便利用卷积神经网络来提取特征,并通过
期刊
针对基于机器视觉的牛体尺测量方法中测量背景复杂、特征点提取的难度大的问题,提出了一种基于Kinectv4传感器的牛体尺测量方法,采集彩色和深度图像,结合目标检测、Canny边缘检测、三点圆弧曲率等算法提取体征特征点进而计算体尺数据。首先,制作了牛体尺特征部位图像数据集,利用深度学习YOLOv5(You Only Look Once v5)目标检测算法检测牛体尺特征部位信息,减少牛体其他部位和背景对
期刊
初始地应力场是地下工程设计与施工的重要依据,在实际工程中难以精准测得,为了能较准确地获得初始地应力场的分布规律,提出将免疫算法与BP神经网络相结合(IA-BP)的算法对初始地应力场进行反演研究。免疫算法优化BP神经网络就是将BP神经网络的连接权值和阈值作为免疫算法中的抗体进行编码。该混合算法既可以利用免疫算法全局寻优的特点快速搜索到全局最优解或次优解附近,又可以采用BP算法去避免在最优解和次优解附
期刊
对比敏感度作为视觉科学中人眼对物体分辨边界清晰程度的度量,表征了视觉对不同空间频率下对比度的响应能力,具有重要的研究意义。众多研究者给出了一系列用于解决度量对比敏感度阈值的方法,但现有方法在求解阈值时存在收敛速度慢、依从性差等缺点。本文提出了一种基于扰动算子的自适应psi-marginal算法。该算法在分析当前被试者反馈信息的基础上,通过扰动算子自适应优化刺激参数,使其快速向阈值附近逼近,提高收敛
期刊
山东滨海盐碱土壤盐分高、养分低、结构差等问题严重影响了该地区的农业发展,因此有效开发和利用该地区土地对其农业增产增收至关重要。以东营市垦利县四种土地利用方式(荒地、草地、耕地、林地)为研究对象,探讨不同土地利用方式对滨海盐碱土基本理化性质、团聚体稳定性的影响。结果表明:(1)土壤的电导率(EC)和水溶性K~(+)、Na~(+)含量均表现为荒地>耕地>草地>林地,且荒地的EC和Na~(+)含量显著高
期刊
全球生态系统服务(ecosystemservices,ESs)大幅衰退,迫切需要正确的环境治理政策。为解决当前我国生态环境治理存在的两个问题:缺少以生态功能区为单位的统筹规划和缺乏对ESs协同权衡的深入理解,本研究以生态功能区为研究单元,测定四项ESs(粮食生产(grainproduction,GP)、植物固碳(carbonsequestration,CS)、户外休憩(outdoorrecreat
期刊
光学复眼视场大、视角多、分辨率高,具备与小型航空器共形结合的优势,在侦察监视、目标探测和图像导航等方面具有应用价值。针对实际应用中存在的光学复眼设计研制周期长、航空器飞行成本高的现状,本文设计了一种面向小型航空器应用的光学复眼仿真软件。该软件集复眼成像、航空器模拟、数据管理于一体,各功能接口可扩展。仿真表明,在9个子眼的配置下仿真帧率可达到23.3fps,结果精确。该软件可用于光学复眼设计方案优选
期刊
由于视频无法抵抗帧间共谋攻击,使得水印隐蔽性和鲁棒性降幅明显。因此,提出一种基于自适应量化嵌入机制的抵抗方法,用以克服嵌入水印后导致的失真累加效应。通过构建共谋模型、模拟攻击原理及分析噪声来源获得抵抗策略,即在自适应量化嵌入机制的基础上,利用人眼对光学高频区域不敏感的视觉冗余特性实现水印隐写。仿真对比实验结果表明:经施加噪声干扰,从视觉质量角度观察水印的隐蔽性未受影响,说明该方法对噪声不敏感;帧平
期刊
高熵合金是近年来涌现出的一种新型金属材料,由多种元素以近等原子比例组成,具有在结构上类似有序晶体材料,但是在化学成分上无序排列的结构特征,在物理、化学和机械性能等方面表现出许多不同于传统合金的独特优异性能.高熵合金薄膜是在高熵合金的基础上发展出的一种新型薄膜材料,不仅继承了高熵合金的优良性能,甚至部分性能还得到进一步提升.改变高熵合金薄膜的组成元素以及薄膜制备参数均会对其性能产生极大的影响,由此可
期刊