基于胶囊网络的迁移学习模型及应用研究

来源 :新疆财经大学 | 被引量 : 0次 | 上传用户:nightcatwu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,机器学习领域的研究者提出了迁移学习的概念,目的在于放宽模型泛化问题中的同分布假设要求。基于对抗的迁移学习的框架基于零和博弈的思想,通过对源域和目标域的特征表示训练模型,使得该模型无法区分特征来自于源域或目标域,实现跨领域迁移的任务。同时,已有学者证明源域与目标域的私有特征也能够提升对抗迁移学习的效果,如何全面的利用域差异化特征也是未来的主要研究方向之一。本文对结合域差异化特征的对抗迁移学习进行深入研究,提出一种基于胶囊网络的对抗迁移学习算法Att-Caps-DSN,模型在相似性计算的基础上考虑了源域与目标域的独有特征对迁移学习的影响,丰富了迁移学习的理论方法。首先,改进目前对抗迁移学习普遍采用卷积神经网络作为特征提取的方法,通过理论分析以及实验,验证了引入融合注意力机制的胶囊网络可以在迁移学习过程中提取更多特征信息,拓宽了迁移学习的特征提取思路。其次,优化领域分离网络的解码器部分,引入了动态对抗因子,优化解码器的函数损失函数计算,加快模型收敛速度。最后,在领域判别器中融入多头自注意力机制,提高迁移学习对目标域的判别效果。实验一测试优化前后的迁移效果表明,本文模型在目标域谭松波数据集上取得对比模型中的最好表现(P:0.8577,R:0.8429,F1:0.8502),证明本模型优化有效,具有较好的迁移学习能力。实验二对比深度学习与迁移学习在测试样本为800的小样本实验中,对目标域预测效果,结果表明Att-Caps-DSN模型优势明显(P:0.8375,R:0.8441,F1:0.8408),并且具有较快的收敛速度。在实际应用场景中,使用Att-Caps-DSN模型完成线上交易的信任识别。源域数据为“什么值得买”测评网站数码产品专业测评数据,通过爬虫获得;目标域数据选用京东数码产品评论。已有研究在信任感知问题存在缺失,线上商城的评价数据中多为情感表达语句,具有明确表达信任的语句较少,即使完成大量数据的标注,在一般深度学习模型训练中,结果与情感分析相似,无法较好识别信任。而专业测评数据集中评论逻辑清晰,具有大量线上购物评论缺失的信任语句,以此作为源域,进行迁移学习,可以很好的解决信任感知问题。最终实验一表明:Att-Caps-DSN模型的分类器可以根据源域已有的知识结合已标注的目标域数据,完成迁移学习任务,相较于其他模型在信任感知问题中达到较好的效果。实验二对比信任识别与情感分析可以得出,信任识别并不等同于情感分析。虽然情感分析实验可以取得较好的效果与准确率,但是无法满足实际条件下的需求。而与现有的情感分析仅分析主体的情绪不同,信任感知发掘文本表面情绪下主体的深层动机,并且具有较细的粒度。使用迁移学习以较高的准确率完成信任感知,具有重要的商业价值。本文工作从模型出发,研究了基于胶囊网络的迁移学习并取得一些成果,但就自然语言处理领域以及迁移学习本身在未来还有许多值得研究的问题:模型本身的后续优化并提升训练速度和模型效果;多意图识别问题的研究,进一步提升模型泛用性;迁移学习在未知意图识别领域的发展同样值得关注。
其他文献
大股东股权质押指上市公司大股东将持有公司的股票质押物给证券公司、银行以及信托等金融机构,以实现融资的一种手段。1995年颁布的《担保法》使股权质押这一融资形式正式合法化,为大股东将静态资产转化为流动资产提供了政策的支持,缓释了大股东的融资压力。随着我国在股权质押业务的交易形式、相关制度等方面的不断完善,股权质押这一融资形式也越来越受大股东的青睐。但是像乐视网、同洲电子等因大股东股权质押而引起上市公
学位
随着我国资本市场和市场经济的迅速发展,企业控制权市场日趋活跃,公司控制权变更活动也日益频繁,因为控制权是企业经营发展的核心,而公司的控制权又与持股份额、公司投票表决权等因素高度相关,所以对于有着较大经营体量的上市公司而言,企业控制权的变动将会伴随着公司股权结构的调整与表决权的再分配,会对公司的发展和管理产生深远影响。在经济市场中,企业并非总是稳定上升发展,除了创始人股东的权力偏好和外部投资人为谋求
学位
随着全球信息化飞速的发展,各国之间对于半导体技术以及芯片设计技术的竞争日益激烈,愈发凸显出其对于大国之间博弈的重要战略地位。想发展电子产品和通信技术必然绕不开半导体技术,半导体素有“电子心脏”之称,尤其近年来欧美国家对我国半导体技术的大力封锁,美国更是倾一国之力打压华为的芯片技术发展,使我国的高科技企业的持续健康发展更加艰难。财务作为企业健康发展的基石,而高科技企业具有资金和技术高度密集,研发投入
学位
早期我国资本市场碍于国内上市标准高、IPO核准复杂、排队时间长等原因,许多企业尤其是高新技术企业纷纷选择搭建VIE架构远赴海外融资上市。然而由于国外投资环境的不断恶化、市值的严重低估,这些VIE架构下的企业又纷纷看向国内市场,随着奇虎360、暴风科技的顺利回归,大多数企业也选择拆除VIE架构境内上市。与此同时,国内有利的政治环境也为VIE模式企业境内上市提供了机会。2019年3月2日随着科创板各项
学位
十五大正式提出混合所有制改革的概念之后,国企混改的发展进程不断加速。在十八届三中全会提出的全面深化改革中,混合所有制改革被提到了实现公有制经济为主体经济体制重要力量的新高度。党的十九大报告中明确指出,要“深化国有企业改革,发展混合所有制经济,培育具有全球竞争力的世界一流企业”。国企改革“双百行动”、“国企改革三年行动方案”等具体方案的发布也为混合所有制改革的快速发展提供了强大助力。东航物流作为首批
学位
近年来,药品制造企业纷纷面临着新业态、新技术的挑战。国内各药业公司的药品销量飞速上涨,为了满足订单需求,大量引入自动化生产机械设备。自动化的普及导致企业生产产品成本结构发生了巨大的改变,从直接费用占总成本比重较大,转变到了间接费用逐年攀升,逐渐超过直接费用的占比。传统的成本核算方法只以数量为基础,按比例分配间接费用,会导致计算结果在产品批量生产过程中存在较大的误差。粗略的成本信息不利于企业的管理人
学位
长期以来,为了提高上市公司在所属行业的综合竞争力,越来越重视调整资本结构,大多数企业都选择了扩张型重组的方式。20世纪80年代以前,在资本市场上,上市公司对资本结构进行调整的主要原因,是为了多元化、规模化的发展。但是,近年来随着学者们逐渐深入研究发现,企业规模过度的扩张会导致企业价值的流失,不仅企业的综合竞争力不能提高,而且企业的管理效率还会降低。因此,近年来越来越多的企业开始选择收缩型资产重组的
学位
自上个世纪30年代,美国、英国等西方发达国家就开始使用优先股进行筹资,随着经济的快速发展,目前优先股已在西方国家得到了广泛地运用,成为了有效的融资渠道。相较于西方发达国家,我国优先股的使用较晚。曾在上个世纪八十年代出现过一段时间,随后陷入了沉寂。直到2013年国务院《关于开展优先股试点的指导意见》文件的下发和2014年中国证监会《优先股试点管理办法》的发布,才意味着我国正式走向了优先股的试点以及推
学位
国企改革“三年行动”在“十三五规划”期间的国有企业深化改革工作中发挥着重要的作用。20世纪90年代我国在集体经济背景下提出混合所有制改革的概念,国家想通过民营资本的力量进而推动国营企业生产力的提升。党的十八届三中全会指出我国经济制度形式应实现资本多元化、不同形式的资本交叉持股、相互融合的混合所有制经济模式,我国的经济结构应该呈现出混合所有制而不是单一的股权结构。基于此,深度思考国有企业改革的意义,
学位
预算管理作为现代企业管理控制系统中的关键手段,历来都在企业管理工作中占有重要的地位,但随着市场经济与社会环境的不断变化,大多数企业的预算管理工作实际并未发挥其应有的作用,其中预算松弛的问题最为显著且负面影响很大,它将使预算管理违背其初衷,降低员工积极性、使评价考核失去公平、成本控制低效,长远看来更是影响企业的发展壮大,因此,预算松弛的控制与解决就是相关企业首先要考虑的问题,对预算松弛问题的成因与对
学位