从Markowitz（1952）的资产组合选择问题开始,经过几十年的发展,出现了大量现代金融理论,例如Sharpe（1964）和Linter（1965）等提出的CAPM理论、Fama（1965）的市场有效性假说、Merton（1973）的消费和资产组合选择理论、Fama和Macbeth（1973）对股票收益率的研究以及Ross（1976）提出的APT套利定价理论等等。这些理论促进了量化交易的发展,为量化交易提供了理论基础,而量化交易的精髓在于如何去正确地认识和描述金融市场。对金融市场的大量研究发现与市场有效性假说相背离的异象,例如金融市场存在长期记忆性和自相似性等分形结构（Lo和Mac Kinlay,1988;Cont,2001）。Peter（1994）提出了分形市场假说,对金融市场进行了重新的认识。因此,在具有分形特征的市场中,本文用分数阶布朗运动来描述资产价格的动态过程,并对量化投资中的几个重要问题进行了研究,即在分数阶布朗运动的环境下对资产组合选择理论、股票的横截面收益率预测模型和金融时间序列预测模型进行分析,将分数阶布朗运动的长期记忆性和自相似性等分形特征引入到这些金融模型当中,从而发现了影响投资决定的新因素。首先,在分数阶布朗运动的环境下分析了资产组合选择问题,在基于连续时间Kelly准则和Merton（1973）的框架下推导了投资组合选择模型,研究发现长期记忆性的强弱和投资者的投资期限会对最优风险资产投资比例产生重要影响,同时基于连续分数阶布朗运动环境下的Kelly准则设计了交易策略,在实证研究中发现此Kelly策略的表现优于标准布朗运动下的Kelly策略,为基金经理提供了一种替代的资产分配方法;其次,本文对股票对数收益率进行了研究,用分数阶布朗运动中的Hurst参数来衡量长期记忆性,通过分组检验和Fama-Macbeth横截面回归,发现长期记忆性并没有被定价到股票收益率当中,也无法被其他因子所解释,即股票价格序列的长期记忆性对股票的未来收益率有预测能力,而基于分组检验得到的多空策略可以为投资者提供每年12%的回报;最后,在可以由分数阶布朗运动描述的金融市场中,基于分数阶布朗运动具有的自相似特征和分形结构,本文利用了模式识别理论和非参数统计方法构建了相似性预测模型,并与常用的时间序列预测模型进行了对比,实证研究发现相似性预测模型对沪深300指数行情预测具有更好的精度,基于相似性预测模型设计的交易策略也有更优的表现。