本文对如何快速处理大量数据进行了研究,目的是构造一个规模小,成本低、性能高、风险小的分布式计算系统。将分布式计算与并行计算融合在一起,面向Windows开发,运行在小型、安全的局域网内,快速处理大量数据,解决传统计算框架不利于扩展,单台设备的计算瓶颈问题。本文在研究Hadoop框架的基础上提出了构建本系统的两大服务：分布式存储服务和分布式计算服务。系统采用三层架构设计来支撑整个集群的运行,Master负责全局信息掌控,Job负责调度任务,Task负责数据存储和计算。支持用户上传自定义格式的数据,不对原数据进行二次切分,可支持某些特定原生数据类型的计算。开放算法API,并对传统MapReduce框架作了扩展,计算时可携带其它数据源,方便数据交互处理。Reduce过程本地化,节省Map中间数据的网络传送时间。通过调度服务的合并接口汇总最终计算结果,将计算压力分散,充分利用集群内机器。采取添加动态链接库(DLL文件)的形式支持用户嵌入自定义算法,算法预先存储在Task节点,节省启动时间。默认集群内计算机具有一定的可靠性,简化容灾设计。在计算时对硬件资源的使用策略是抢占式的,单机在执行任务时根据配置文件预加载缓存,加快下一次计算。数据块数量决定线程数量,在线程安全范围内开启多线程,高并发,充分发挥CPU性能。最后针对本次实现的分布式计算系统,构造了两类测试算法：一类是与Hadoop集群作对比的WordCount算法,另一类是体现数据交互操作的图像比对算法。通过分析测试数据验证了本系统对小数据量计算请求能实时响应,并且作为一个在安全网络环境中运行的小集群,系统提供的计算能力能满足一般中小企业的需求,达到了预期设计目标