在经典资本市场理论(CMT)中,有效市场假说(EMH)一直是资本市场理论的基石。但现有的许多研究使得经典资本市场理论对现实情况的解释乏力,造成这种情况的根本原因在于经典资本市场理论大多是在一个线性模式上来对资本市场进行研究的,而现实资本市场大多是以非线性方式对外界作用起反应的。本论文将非线性技术和智能优化技术与资本市场理论相结合,探讨资本市场的非线性复杂性和投资组合优化,这样不但可以丰富资本市场理论,促进资本市场理论的发展,而且对于构建切实有效的计算金融理论也会起到巨大的推动作用。正是在这个背景下,本文从资本市场的非线性复杂性入手,实证研究了中国股票市场的非线性特征和混沌特性。并在此基础上,用智能优化技术为计算工具用新的视角重新研究了投资组合选择模型和投资组合管理,这样可以使投资者的投资行为和投资管理更加符合资本市场的实际情况。首先使用月、周和日收益率数据序列,应用Hurst指数和R/S分析法分别对沪深股市进行了非线性特征实证研究,从低频数据到高频数据逐层分析,分别得到它们的H-指数、相关系数、分形维数和非周期循环。进一步,在沪深股市内部,对不同频度数据分别进行对比分析,分别得到沪深股市准确的非线性特征;在沪深股市的外部,对沪深股市的非线性特征进行了比较研究,得出沪深股市具有不同的非线性特征的结论。实证结果表明上海股市与深圳股市均存在着状态持续性,波动呈现集群性,股价指数所构成的时间序列呈现非线性,股票投资收益率不服从于正态分布。这说明了沪深股市都不是有效的市场,而是具有非线性结构的市场。随后,使用重构相空间技术重构了沪深股市的相空间,描述了沪深股市的2、3维演化趋势图,并分别计算了沪深股市的关联维数,得到了它们的饱和嵌入维数,分别说明了沪深股市都是具有分数维结构的低自由度混沌系统。另外,还进一步分别计算了沪深股市的最大Lyapunov指数,通过计算得到它们的值都大于零,说明了沪深股市系统是混沌系统,进一步解释了沪深股市的非线性复杂性形成的机理。最后,对沪深股市系统非线性动力学特征进行了比较分析,得出了上海股市存在更强混沌现象的结论。在资本市场具有非线性复杂性特征的基础上,讨论了投资组合选择问题中收益分布偏度的存在性和重要性,把偏度水平引入mean-variance模型中,由此引出了一个mean-variance-skewness模型,并用实证分析的方法对这二个投资组合模型的有效前沿进行了比较,进一步分析了期望偏度水平对mean-variance-skewness模型的影响。本文还将市场摩擦因素引入mean-variance-skewness模型,建立了摩擦市场的<WP=5>mean-variance-skewness模型,并分析了市场摩擦因素对该模型投资效果的影响。进一步建立了摩擦市场的双目标投资组合选择模型,并用一个具体的算例解释了偏好系数变化时相应的投资组合策略的变动。另外,还建立了一个同时考虑均值、方差和偏度水平的多目标投资组合选择模型,并用进化规划的方法解决了该模型的计算复杂性问题。在已建立的确定型投资组合选择模型的基础上,将模糊集合的概念引入到这些投资组合选择模型中。首先用模糊数学中的线性隶属函数处理了mean-variance-skewness模型中的风险目标和期望收益约束,建立了摩擦市场的模糊型mean-variance-skewness模型,并用遗传算法给出了隶属函数权重变化时相应的投资组合策略及其最优解。然后,还用线性隶属函数处理了摩擦市场的双目标投资组合选择模型中的风险目标和收益目标,建立了摩擦市场的模糊型双目标投资组合模型,用遗传算法给出了该模型的一个实例的最优解,并与摩擦市场的确定型双目标投资组合选择模型的解进行了对比分析。最后,用logistic型隶属函数将以收益、方差和偏度为目标的多目标投资组合模型中的三个目标模糊化,建立了摩擦市场的模糊型三目标投资组合选择模型,用一个动态遗传算法给出了该模型的一个实例的最优解,并进一步解释了模糊尺度随决定logistic型隶属函数形状的参数的变化而变化的规律。最后,提出了一个基于Multi-agent的大型投资组合管理系统的体系框架结构,并对该系统进行了功能设计,详细讨论了该系统的过程分解和任务分配,并研究了该系统中Agent间的协作工作过程。