面向预测状态表示的系统局部模型获取及应用研究

来源 :厦门大学 厦门大学 | 被引量 : 0次 | 上传用户:yangbin0
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在人工智能及控制领域,对局部可观测动态系统建模是目前备受关注的研究问题之一。为了获取最优策略,必须对系统建立一个准确度较高的模型。预测状态表示(Predictive State Representation,PSR)方法是对动态系统建模的有效方法。现有的预测状态表示的研究方法往往建立的是一个完整模型,然而在通常情况下,对系统建立一个完整的模型是很困难的,并且其预测结果包含了大量冗余信息。为了简化建模过程,并得到所需要的预测信息,比较直观的方式是建立一个面向预测状态表示的局部模型。相比于完整模型对所有可能发生的情况进行预测,局部模型仅仅对感兴趣的部分情况进行预测。  本文首先提出了一种建立局部模型的新方法,所建模型是一个确定性的MDP(Markov Decision Process)模型,相比于现有方法建立的局部模型其精度更高。其次,为了判断所建MDP模型的准确性,本文提出了模型熵的概念。通过计算模型熵可以有策略的增加模型预测量以提高感兴趣的情况的预测精度。再次,本文提出了基于状态空间划分的局部模型算法,进一步提高了模型精度。最后,本文将所建局部模型应用到认知辅助设计之中以帮助阿尔茨海默病患者(老年痴呆患者)完成一些日常行为。  本文主要研究内容及成果包括以下几个方面:  (1)提出了建立局部模型的新算法。该算法首先获取智能体在不同的时刻下感兴趣的事件的发生概率矩阵,然后利用线性无关的方法将概率矩阵中每个时刻对应的感兴趣的事件的发生概率向量进行分组,每组概率向量对应同一个PSR状态。最后本文利用分组结果对原始的训练数据进行转换,然后对转换后的数据建立MDP(Markov Decision Processes)模型,并且利用实验验证了所建模型的准确性。  (2)提出了模型熵的概念,以及一种利用模型熵提高感兴趣的情况的预测精度的方法。理沦上本文建立的MDP模型模型熵越小,则模型越准确。因此本文可以利用所建MDP模型熵值大小来判断MDP模型是否准确。如果模型不够准确,则获得的感兴趣的事件的预测值也不准确。为了更好的进行预测,本文提出可以在感兴趣的预测的基础上增加一些其他的预测事件,建立一个模型熵值更小的MDP模型来对感兴趣的事件做预测。  (3)本文提出了基于状态空间划分的局部模型建模方法。本文首先介绍landmark的特性,利用landmark将状态空间划分,划分得到的几个较小的子状态空间仍然只对感兴趣的检验进行预测。分别求出各个子状态空间的状态表示,进而得到系统整体状态空间的局部模型。实验证明将本文提出的局部模型与状态空间划分结合后,进一步提高了模型准确性,能够更好的对感兴趣的检验做预测。  (4)本文将所建局部模型应用到认知辅助设计之中以帮助阿尔茨海默病患者(老年痴呆患者)完成一些日常行为。阿尔茨海默病患者的记忆力和认知能力会大幅低于常人。对于该症患者来说,自主完成一些基本日常生活行为例如洗手、如厕、穿衣和吃饭等尚且具有困难。为了帮助患者进行上述行动,一种利用计算机及控制技术帮助老年痴呆症患者正常生活的认知辅助技术开始发展起来。本文以阿尔茨海默病患者的洗手问题为例,利用本文算法对阿尔茨海默病患者的简化版洗于过程进行了建模,然后基于所建模型利用Q-学习算法学习最优策略以提示老年痴呆患者完成洗手动作。
其他文献
当前,中国休闲食品产业发展迎来快速、高质量发展的黄金期和战略机遇期,已成长出一批几亿、十几亿、甚至几百亿的企业.国家高度重视休闲食品产业高质量发展.国务院办公厅关于
期刊
因柑橘中类黄酮化合物含量丰富,具有多种生理活性功能而被广泛应用于食品、药品、化妆品等行业.类黄酮主要从柑橘等植物中提取,少量通过化学合成或结构修饰.近年来,在大肠杆
期刊
随着我国人口老年化加剧,环境污染问题恶化、居民对健康意识的提升、健康中国上升为国家战略、加快大健康产业发展得到政府大力支持和全民广泛关注.rn健康食品作为大健康产业
期刊
报告首先综合介绍了水产品的战略地位、主要水产品门类、我国水产品的生产现状、水产品加工产业现状、产业存在的问题(原料易腐、损失率高,深加工和副产物利用水平低,质量安
期刊
解渴、好喝、营养健康是饮料的基本属性,健康、安全是饮料的发展升级方向,功能饮料符合饮料的发展升级方向!rn本报告以药食两用天然中草药为原料,研究开发具有增强免疫力、耐
期刊
饮食能力是消费者个体对食物的综合操控能力,其核心是个体对食物的口腔处理能力和对食团的操控(吞咽)能力,包括食物的咀嚼、食物颗粒与唾液的混合、舌头对食物颗粒的运送和控
期刊
随着非线性控制理论特别是反馈线性化理论的发展,非线性状态观测器的设计以及基于状态观测的非线性控制理论的研究显的愈发重要。本文就是针对在利用逆系统方法进行反馈线性化的过程中,逆系统需要全状态反馈,然而由于状态不能直接测量,或者由于测量的设备在经济和使用上的限制,使得不可能实际获得系统的全部状态变量,从而使状态反馈的物理实现成为不可能的问题。状态反馈在性能上的不可替代性和在物理上的不能实现性形成了一个
进化让生物具多样性,生物体内的天然产物成分也多种多样,其对维持生命活动必不可少.天然产物是动物、植物、昆虫、海洋生物及微生物主代谢和次生代谢的化学物质.世界是由物质
期刊
人口老龄化、营养失衡及慢病发病率持续增加等健康问题的关注,新生代消费观念的转变、促使食品新产品开发呈现快速变化趋势.洞察当前社会发展现状,探明市场需求,采用科技手段
期刊
绝大多数乳酸菌都具有益生功能,因而乳酸菌几乎成了益生菌的代名词.传统发酵食品不仅营养价值高、风味独特而受到人们喜爱和长期食用,还因为伴生有大量的乳酸菌,是一个潜力巨
期刊