【摘 要】
：
深度学习的形式化理解一直是一个重要的研究主题。近年来,借助量子多体物理学,深度学习的形式化理解已经取得了很大的进展。例如,在量子多体系统中,通过量子纠缠熵,神经网络中的归纳偏置可以被解释,此外还可以借助量子纠缠与神经网络之间的关系指导某些任务的网络架构和参数的设计。然而,在最近的关于量子纠缠研究中,还存在两个仍未揭示的问题,这些问题限制了纠缠测量的应用潜力。首先,纠缠熵的理论分析仅在单个对象（比如
论文部分内容阅读
深度学习的形式化理解一直是一个重要的研究主题。近年来,借助量子多体物理学,深度学习的形式化理解已经取得了很大的进展。例如,在量子多体系统中,通过量子纠缠熵,神经网络中的归纳偏置可以被解释,此外还可以借助量子纠缠与神经网络之间的关系指导某些任务的网络架构和参数的设计。然而,在最近的关于量子纠缠研究中,还存在两个仍未揭示的问题,这些问题限制了纠缠测量的应用潜力。首先,纠缠熵的理论分析仅在单个对象（比如一张图片或一句话）的表示中进行了研究,而在两个对象（比如问题对）的匹配中并未得到很好的研究。其次,由于匹配矩阵（matching matrix）的维数呈指数增长,所以纠缠熵无法定性的计算。在本文中,我们试图通过纠缠熵和注意矩阵之间的基本联系来解决这两个问题。通过在高维匹配矩阵上的映射（通过求迹操作）,可以得到一个低维的注意矩阵。基于这个低维的注意矩阵,我们可以为描述匹配任务中两个对象间相关性的纠缠熵提供一个可行的解决方案。同时,受纠缠熵理论分析的启发,我们在一个传统的匹配任务（问答任务）中动态地设计网络架构。在实验上,针对两个典型的问答（QA）数据集,即TREC-QA和YAHOO-QA数据集,我们通过与量子启发的语言模型、基于CNN、基于RNN以及Attention的多个语言模型进行比较,系统地评价了本文所提出的解决方案的可行性和有效性。其中,我们的自适应策略在TREC-QA任务中显示了优秀的性能,与最近的模型相比提高了4.5%。
其他文献
在核设施、石油天然气、电力等领域中,管道应用比较广泛,同时管道安全对生产的正常运营起着非常重要的作用。随着管道的布置以及应用的环境的复杂程度不断的提高,对管道机器人的结构和完成的功能也提出了更高的要求。本论文针对实际运用过程中复杂核电管道系统,该管道系统中有锐角弯、直角弯、钝角弯和T型弯,其中管道环境的空间布置,不仅有水平管路还有很多垂直管路。其中最难的部分是设计管道机器人的结构能够通过直角过渡的
近年来,分布式光纤传感技术的深入研究不断取得了进步,基于Michelson分布式振动光纤传感技术的光纤周界安防系统日趋完善,在诸多周界安防领域具有较为广泛的发展空间。但是目前该类安防系统在对入侵事件种类识别、识别准确率以及事件信号特征向量提取效率方面尚无法完全满足实际需求。针对上述模式识别方面的根本问题,本文基于分布式振动传感技术,简要介绍光纤周界安防系统现状,在分析对比不同安防系统优劣特性的基础
扭矩是工业生产和机械传动中重要的载荷形式,在船舶、航天、工农业等领域都有重要应用。本文主要介绍了基于磁弹式传感器传感机理及研究动态,使用磁致伸缩性能良好的坡莫合金薄带作为磁敏材料与非磁性轴结合,实现非铁磁性轴的扭矩测量。提出基于平面柔性线圈涡流耦合的扭矩测量方案,该测量方案不同于传统互感线圈（励磁—感应）电压表征扭矩的方法,而是采用平面线圈的电感量表征扭矩,通过线圈与涡流的耦合传感磁导率的变化,为
作为RNA甲基化最丰富修饰物之一,N6-甲基腺苷（N6-methyladenosine,m6A）的甲基化作用实际上涉及到许多生物过程,包括大脑发育畸形、人体肥胖、蛋白质翻译、RNA剪接、RNA降解和RNA稳定性。目前研究表明,采用高通量测序或者湿实验的方式可以检测m6A峰值的情况。然而该方式不能够准确定位m6A甲基化位点。而随着人工智能时代的来临,人们开始探寻使用机器学习的方式识别m6A甲基化位点
由于现在的图像质量越来越高,现有的图像压缩技术已经不能满足目前的需求。于是使用卷积神经网络解决图像压缩成为目前热门的研究领域。但是,通过卷积神经网络训练学习后得到的网络模型不管在存储还是计算上都耗费了庞大的计算机资源。如何解决这个问题成为工业界和学术界研究的重点。本文提出一种深度卷积生成式对抗网络结构,该网络模型由卷积网络构成,可以带来比现有技术更加好的压缩效果,但是复杂的网络模型与巨大的计算量带
无常的天气、深邃的海底让人对奇妙的海底世界敬而远之。是凡尔纳让那无尽的深海变得诱人起来,海底世界的一切都有存在的价值和意义:这里有你从未见过的大叶藻铺成的床,各色奇特的海中珍品,潜艇甚至可以利用海底开采的煤的热量提取氯化钠,与汞混合成汞合金发电……阿龙纳斯教授是整个海底航行的见证者,作者以他的视角向读者展开这段奇妙的旅行,本期就让我们一起和阿龙纳斯一起畅游海底两万里吧!
人脸表情识别指通过计算机来计算和分析人的脸部肌肉、形态和关键特征的变化,从而判断其内部情绪。在模式识别领域中,人脸表情识别是一个非常活跃和具有挑战性的领域,广泛应用于人机交互环境的智能化、远程教育和精神病理分析等。然而,尽管最近的研究中,深度学习和卷积神经网络已经成功应用于人脸表情识别,但是无约束情况下的部分遮挡人脸表情识别仍然是一个挑战,并已经成为其在实际生活应用中的一大阻碍。一方面,人脸表情识
大脑是个复杂且神奇的组织系统,它可以对接收到的外界信息进行加工处理,并促使人类完成相应的认知过程。探索大脑的组织结构和执行功能之间的关系是理解人类的思维过程以及脑类疾病的关键所在。近年来,将图论引入脑功能的研究即将大脑抽象为一个复杂网络,能形象地揭示脑功能网络中信息传递过程。此外,社团结构是刻画复杂网络结构特性与网络内在潜在关系的基本特性之一,因此通过社团检测去分析各脑区之间的关系对理解大脑的组织
翻开这本写于150年前的小说,我们很难感觉到时间的流逝:仿佛这些发生在海底的故事刚刚创作完成,作家笔尖上的墨水还没有彻底干透。旅行是儒勒·凡尔纳一生写作的主题。不过,他笔下的旅行并不限于在已知世界的版图上巡游。科幻小说给了他更为广阔的舞台。他可以凭借想象,抵达彼时人类从未企及的领域。换句话说,他的写作就是挑战未知,用想象填补真实世界的缺失,将所有的不可能变成可能。因此,哪怕驱使他创作的是天马
无向概率图模型之马尔科夫随机场（Markov Random Field,MRF）是一种能够有效对真实世界中的网络结构进行建模的工具。MRF最近已被成功地应用于社团发现领域,并取得了很好的效果。然而已有基于MRF的社团发现方法大多仅利用了网络中的拓扑结构进行社团发现,而在网络中具有同样重要地位的属性信息却被忽视了。为了解决该问题,本文将善于描述属性语义的主题模型融入擅长刻画网络拓扑的MRF社团发现模