文本信息辅助图像差异描述生成

来源 :北京航空航天大学学报 | 被引量 : 0次 | 上传用户:jwpvinson
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像描述生成任务要求机器自动生成自然语言文本来描述图像所呈现的语义内容,从而将视觉信息转化为文本描述,便于对图像进行管理、检索、分类等工作。图像差异描述生成是图像描述任务的延伸,它要求生成自然语言语句描述两张相似图像之间的区别。该任务的难点在于,如何确定两张图像之间的视觉语义差别,并将视觉差异信息转换成对应的文本描述。已有研究提出的模型在训练阶段并未充分利用文本信息,建模视觉差异信息和文本之间的跨模态语义关联。对此,提出了一种引入文本信息辅助训练的模型框架TA-IDC。它采取多任务学习的方法,在传统
其他文献
为提升智能辅助驾驶系统对路面附着系数估计的准确性与实时性,研究了一种基于视觉信息的路面识别深度学习算法,实现路面附着系数的预估计。设计压缩卷积机制以降低网络运算参数,采用特征图全局平均替换全连接层以提升网络的拟合性能,并构建路面识别深度卷积神经网络DW-VGG。利用自建路面图像数据集对网络进行训练,测试结果表明,基于提出的多层知识蒸馏技术的DW-VGG网络识别精度较高,分类性能评估指标F1得分为9
期刊
针对目前存在的多视图聚类方法大多是对聚类准确性进行研究而未着重于提升算法效率,从而难以应用于大规模数据的现象,本文提出一种结合地标点和自编码的快速多视图聚类算法。利用加权PageRank排序算法选出每个视图中最具代表性的地标点。使用凸二次规划函数从数据中直接生成多个视图的相似度矩阵,求得多个视图的共识相似度矩阵以有效利用多个视图包含的具有一致性和互补性的聚类有效信息,将获得的具有低存储开销性能的共
期刊
在机动目标跟踪中,传统当前统计模型卡尔曼滤波算法对弱/无机动目标跟踪精度不高,对突发机动跟踪精度显著下降,且跟踪性能受限于先验参数。针对上述问题,本文提出一种基于机动检测的参数自适应机动目标跟踪算法,算法利用新息的概率分布特性构建双阈值检测门限,依据检测结果进行参数自适应调整。首先,利用加速度预测误差方差信息,自适应调整机动频率、加速度方差,克服模型参数需先验设置的问题,同时提高算法对弱机动目标跟
期刊
跨年龄人脸合成是指通过已知特定年龄的人脸图像去合成其他年龄段的人脸图像,它在动漫娱乐和公共安全等领域有广泛的应用。针对跨年龄人脸图像合成中生成图像容易产生器官变形扭曲、人脸局部特征保持效果不佳等问题,提出了一种基于条件对抗自动编码器的跨年龄人脸图像合成的方法。首先,该方法在传统的条件对抗自动编码器模型的基础上,将通道关注和空间关注引入到解码器结构中,使得训练过程中模型忽略背景,更加关注人脸图像变化
期刊
随着车牌识别的应用场景不断扩展,处理的图像复杂性也随之提高。因此车牌的检测也面临着车牌定位困难、检测速度慢和精度低等挑战。针对光照不均衡、透视变形、雨雾天气和低分辨率等复杂场景中的车牌检测,提出了一种基于车牌角点热图的检测网络(license plate heat map detection network)LPHD-Net。此网络区别于以往的模板匹配和目标检测中矩形先验框的方式,而是通过车牌角点
期刊
为实现目标域样本能够与源域中同类样本准确对齐,并在保证样本准确识别率的条件下进一步提高不同类别样本特征间的可区分性,提出了一种带有类间差异约束的域适应模型。首先,该模型采用深度卷积神经网络对源域样本进行了有监督学习,并在训练过程中基于提出的类间差异测量函数对源域样本特征加以类间差异性约束;其次,该模型采用了多对抗域鉴别网络结构,其中提出了一种目标域样本伪标签计算方法,从而将无标签的样本指定到合理的
期刊
以疫情期间口罩佩戴检测任务为载体,针对目前算法结构复杂,训练困难并且特征提取不足等问题,提出一种多尺度特征融合的轻量化检测算法。以YOLOv4-Tiny结构为基础,该模型改进原始残差结构,有效降低模型的计算量的同时保证检测精度,可以实现实时口罩佩戴检测任务;然后将多尺度输出结构增加到3个,以增强低层特征层信息表达并降低小目标漏检率;最后通过多层级交叉融合结构,最大程度提取有用信息,提高特征利用率。
期刊
1bit压缩感知技术日益受到关注。1bit信号往往有符号跳变,同时信号重构还需要稀疏度先验信息,如何有效地克服信号重构对稀疏度的依赖性,提高重构算法对噪声的鲁棒性,这是该领域面临的重大挑战。本文在二进制迭代硬阈值算法基础上,引入自适应稀疏度,利用残差能量的大小,通过对信号和噪声的学习,解决稀疏度依赖问题,通过引入弹球损失和自适应异常值追踪提高对噪声的鲁棒性,通过引入归一化参数,缩短运算时间。数值仿
期刊
海洋微型鞭毛虫(Microbial flagellates)是海洋原生生物中一类高度异质化的类群,物种多样性高,具有多种营养方式,在全球海洋生态系统中占据广阔的生态位,在生物地球化学循环中发挥着关键作用。然而关于其生物多样性和群落结构的认识十分有限,特别是有关环境因子与其生物地理分布关系的研究更为罕见。为了探究微型鞭毛虫群落多样性、群落结构以及影响其生物地理分布格局的环境因素,本研究将高通量测序技
期刊
基于GIS和RS技术,在最小累积阻力模型(MCR)基础上引入不同源地等级的相对阻力因子构建城市扩展生态阻力面模型(UEER),并结合水文分析模型(Hydrology)利用多时相的研究方法对海口市江东新区五个时期(1988年、2001年、2009年、2017年和2019年)的建设用地扩展格局进行动态模拟分析,从生态安全的视角探讨海口市江东新区海岸带城市扩展与生态格局演变趋势。研究结果表明:(1)20
期刊