论文部分内容阅读
在人工智能及控制领域,对局部可观测动态系统建模是目前备受关注的研究问题之一。为了获取最优策略,必须对系统建立一个准确度较高的模型。预测状态表示(Predictive State Representation,PSR)方法是对动态系统建模的有效方法。现有的预测状态表示的研究方法往往建立的是一个完整模型,然而在通常情况下,对系统建立一个完整的模型是很困难的,并且其预测结果包含了大量冗余信息。为了简化建模过程,并得到所需要的预测信息,比较直观的方式是建立一个面向预测状态表示的局部模型。相比于完整模型对所有可能发生的情况进行预测,局部模型仅仅对感兴趣的部分情况进行预测。 本文首先提出了一种建立局部模型的新方法,所建模型是一个确定性的MDP(Markov Decision Process)模型,相比于现有方法建立的局部模型其精度更高。其次,为了判断所建MDP模型的准确性,本文提出了模型熵的概念。通过计算模型熵可以有策略的增加模型预测量以提高感兴趣的情况的预测精度。再次,本文提出了基于状态空间划分的局部模型算法,进一步提高了模型精度。最后,本文将所建局部模型应用到认知辅助设计之中以帮助阿尔茨海默病患者(老年痴呆患者)完成一些日常行为。 本文主要研究内容及成果包括以下几个方面: (1)提出了建立局部模型的新算法。该算法首先获取智能体在不同的时刻下感兴趣的事件的发生概率矩阵,然后利用线性无关的方法将概率矩阵中每个时刻对应的感兴趣的事件的发生概率向量进行分组,每组概率向量对应同一个PSR状态。最后本文利用分组结果对原始的训练数据进行转换,然后对转换后的数据建立MDP(Markov Decision Processes)模型,并且利用实验验证了所建模型的准确性。 (2)提出了模型熵的概念,以及一种利用模型熵提高感兴趣的情况的预测精度的方法。理沦上本文建立的MDP模型模型熵越小,则模型越准确。因此本文可以利用所建MDP模型熵值大小来判断MDP模型是否准确。如果模型不够准确,则获得的感兴趣的事件的预测值也不准确。为了更好的进行预测,本文提出可以在感兴趣的预测的基础上增加一些其他的预测事件,建立一个模型熵值更小的MDP模型来对感兴趣的事件做预测。 (3)本文提出了基于状态空间划分的局部模型建模方法。本文首先介绍landmark的特性,利用landmark将状态空间划分,划分得到的几个较小的子状态空间仍然只对感兴趣的检验进行预测。分别求出各个子状态空间的状态表示,进而得到系统整体状态空间的局部模型。实验证明将本文提出的局部模型与状态空间划分结合后,进一步提高了模型准确性,能够更好的对感兴趣的检验做预测。 (4)本文将所建局部模型应用到认知辅助设计之中以帮助阿尔茨海默病患者(老年痴呆患者)完成一些日常行为。阿尔茨海默病患者的记忆力和认知能力会大幅低于常人。对于该症患者来说,自主完成一些基本日常生活行为例如洗手、如厕、穿衣和吃饭等尚且具有困难。为了帮助患者进行上述行动,一种利用计算机及控制技术帮助老年痴呆症患者正常生活的认知辅助技术开始发展起来。本文以阿尔茨海默病患者的洗手问题为例,利用本文算法对阿尔茨海默病患者的简化版洗于过程进行了建模,然后基于所建模型利用Q-学习算法学习最优策略以提示老年痴呆患者完成洗手动作。