【摘 要】
：
近些年来,表征学习已成为机器学习社区的研究重点,大规模预训练神经网络已成为实现通用智能的第一步,神经网络取得成功的关键在于其对数据的抽象表征能力,深度学习中的若干学习领域实际上都在讨论怎么学习表征,本文不纠结于若干相近领域的若干相似概念,以表征学习作为统一的视角来讨论学习表征的问题。本文从问题出发,聚焦于求解该领域的两个问题:如何在多种任务下对表征学习问题进行统一建模,如何对神经网络模型中学得的表
论文部分内容阅读
近些年来,表征学习已成为机器学习社区的研究重点,大规模预训练神经网络已成为实现通用智能的第一步,神经网络取得成功的关键在于其对数据的抽象表征能力,深度学习中的若干学习领域实际上都在讨论怎么学习表征,本文不纠结于若干相近领域的若干相似概念,以表征学习作为统一的视角来讨论学习表征的问题。本文从问题出发,聚焦于求解该领域的两个问题:如何在多种任务下对表征学习问题进行统一建模,如何对神经网络模型中学得的表征进行一般化解释,为此,本文:首先将多种任务下的表征学习问题建模成排序问题,以排序问题为统一视角,通过优化近似NDCG损失来解决不同任务下的表征学习问题。并且以学习任务划分,组织了大量实验,通过在分类,检索,多标签学习,回归,自监督学习下的实验证明了近似NDCG损失的优越性。进一步在自监督学习任务下通过数据增广方法对训练数据进行标签转换来提高近似NDCG损失的性能,证明了近似NDCG损失可以更充分的利用无监督数据信息。然后提出了一种基于互信息的表征解释方法,将表征的可解释总结为输入数据与表征之间的三种信息量。进一步提出MI-LR模块,它可以插入到模型中估计信息量以解释模型的表征能力。然后以原型网络可视化为例,直观展示了解释效果。最后提出了一种多层关系对齐模型HRAML,利用关系对齐的概念建模多种学习任务下的表征学习问题,充分利用特征空间中的样本对关系与标签空间中的样本对关系之间的一致性,进一步以学习任务为划分,组织了多种实验,在多种任务下验证了 HRAML的效果。
其他文献
凄凉调调意包括《凄凉意》《楚商意》两首，最早见于《神奇秘谱》,后分别存见于明清共十五部琴谱中。在琴谱的传承与流变中，两首调意形成了多种版本体系，《凄凉意》的诸多版本在宫系、调式、结构、词曲关系等方面呈现稳定的特征，在音阶、旋律、指法方面较为灵活；《楚商意》的版本流变相对稳定，体现了明代浙派徐门琴谱较为规范的传承特点。由于凄凉调定弦的特殊性，该调琴曲在调高方面有多种可能。《凄凉意》与《楚商意》中包含
情感是人类固有的,因此,情感识别是机器在自然的人机交互中理解和产生情感反应的关键部分。对话中的情感识别近年来受到了广泛的关注,并且由于其在社会媒体,医疗保健,教育和人工智能交互等多个领域的广泛应用,已成为自然语言处理研究的新领域。因此,有效的情感识别算法具有重要意义,但是这仍然是一个具有挑战性的任务。基于上下文无关和上下文相关的情感识别是情感计算中的两个重要任务。对于第一个任务,近年的研究主要集中
推荐任务是目前学术界和工业界都较为热门的一个研究方向,推荐系统旨在从海量物品中筛选出用户可能感兴趣的物品并推荐给用户。从传统的协同过滤方法开始,推荐任务逐渐衍生出很多分支,分别应用于不同领域。随着社会媒体的流行和社交网络的普及,许多人会在各大社交平台上发表自己对物品的评价,社会推荐应运而生。它利用用户之间的社交网络作为辅助信息来缓解传统推荐模型的数据稀疏性问题,以此来提高推荐性能。而其中社会影响对
随着我国医药市场的不断发展，对医药冷链物流的需求日益增大。为提高我国医药冷链物流的发展水平，本文通过文献检索，分别从软硬件基础建设、第三方医药冷链物流发展、人才需求等方面对我国医药冷链物流的现状及存在的问题进行分析，并提出了适当的建议，为提高我国医药冷链发展水平提供一定的参考。
目前我国关于农村污水PPP项目风险的研究较少,关于项目运营中可能遇到的实际问题或风险也不能进行较全面的识别,这导致项目的风险管理往往不能周全考虑到企业方所会接触到的实际运营中的动态风险因素。因而当项目运营成本在受风险影响而发生变化时,合同约定并不能同时满足政府、企业、社会方的利益或业绩需求,导致公共利益受损。故对于农村污水PPP项目进行风险管理研究十分重要。本文针对天津市B区农村污水PPP项目进行
视觉对话是一个涉及计算机视觉与自然语言处理领域的多模态任务,其不同模态信息之间是存在相关性的。现有的视觉对话模型首先分别获取图像、问题和对话历史的特征,然后利用特征融合方法对三部分特征进行融合,最后利用融合向量推理问题的答案。视觉对话模型中常用的特征融合方法是后期融合,然而这种方法并没有深入考虑图像、问题以及对话历史之间的相关性,忽略了三者间潜在的交互,导致模型预测不精确。为了解决这一问题,本文旨
＜正＞3月1日上午，全国台联机关召开2021年度总结暨表彰大会，对2021年度工作进行总结，同时对2021年获得各类荣誉的部门和个人进行表彰。全国台联党组书记、会长黄志贤，副会长杨毅周、郑平出席会议。副会长纪斌主持会议。会上，杨毅周宣读了表扬表彰2021年度先进集体、优秀个人的决定。4位会领导为受表彰的部门代表和个人颁发证书，并合影留念。黄志贤最后作总结讲话，他对2021年同志们的工作予以肯定，
病人出院后计划外的再次入院（简称再入院）是医疗保健系统成本的主要来源,通常被视为医疗保健质量和医院绩效的指标。患者出院后再次入院不仅会使患者面临一些医院获得性感染,还会加重患者及其家属的经济负担,提高护理成本,因此医院再入院率已成为医疗保健研究者关注的关键问题。计划外再入院风险的量化和早期识别将有利于改善患者住院期间的护理质量,减少患者和医院的经济负担,减轻病人的痛苦。目前已经有大量的再入院预测的
社交平台对现实世界的影响力在不断提升,2016年美国大选期间剑桥分析公司通过对Twitter用户的分析,针对用户精准地推送不同话题的政治广告和新闻,成功地提高了民众对特朗普的支持率。因此,通过对社交平台话题演化进行分析从而进行舆论引导是有意义的。当前话题演化的研究大都针对新闻报道等文本信息,忽视了社交平台文本信息占比少用户行为信息占比高的特点。针对这个问题,本文先对数字舆论场进行了设计,然后通过融
随着自然语言处理领域的发展,Transformer语言模型已经被广泛应用于各种自然语言处理任务中。Transformer中使用了一种特殊的注意力机制的结构,被称为多头注意力机制。其目的是为了使的不同的头提取到不同的子空间信息,但是Transformer中没有设计任何结构去保证多头注意力机制可以有效的工作。研究也表明,在很多时候Transformer的多头机制并没有发挥作用,为了解决这个问题,本文提