事件研究是金融行业的专有名词。事件研究通过检验企业股票价格在事件宣布前后的反应,来衡量事件发生(如企业合并、发布收益公告等)对企业估值的影响。目前事件研究的方法论比较成熟,但是并未走向实际应用。主要是由于以下原因:1.事件分析:目前的事件采集主要是人工采集,然而面对越来越多的上市公司,越来越多的公司公告,人工采集不能及时获得事件。本文基于Hadoop平台和NLP技术,在自动获取事件方面做了一些有意义的尝试。2.事件研究的分布式计算:目前事件研究多是对于一个企业某个事件做事件研究,然后将结果用于其他企业的同类事件的异常收益计算上。本文基于Hadoop平台的分布式计算能力,对于历史上同类事件综合计算其事件研究的结果。将这样的结果应用于未来发生事件的异常收益预计,具有更高的准确性。本文的主要工作内容包括:(1)简化对文本数据的管理。基于ETL工具Morphline实现了公告数据解析、导入到分布式全文索引服务器SolrCloud的整个数据加工过程。最终,索引和文件信息则是存放在分布式文件系统HDFS之上。(2)将传统的事件研究法的模型求解转换为多元线性回归问题,进而通过调用Spark MLlib组件,采用最小二乘法实现模型求解并完成显著性异常检验。(3)结合模式匹配实现基于词汇-语法分析的事件抽取。通过Spark对Solr上文本数据快速查询与并行处理。后续语法分析同时结合语法树与依存句法分析,来完成事件自动抽取部分的内容。(4)为了得到契合金融领域的人工标注语料,进而优化分词模型与实体识别模型,开发了采用前后端分离架构的辅助标注系统。