随着下一代测序技术的不断发展和逐渐成熟,高通量测序已经成为生物、医学研究中的常规工具,也即将在农业和医疗等行业中得到广泛应用,促生了精准医疗和分子育种等新兴产业。不同以往的低通量技术,高通量测序技术所产生的多种组学(全基因组、全外显子组、转录组、宏基因组等)数据具有通量高、数据量大、复杂异质等特点,所涉及的处理与分析步骤多且繁琐,对数据处理的软、硬件都提出了较高的要求。如何快速、高效处理和分析高通量测序数据成为高通量测序技术广泛应用的瓶颈。比如,当前受到广泛关注的精准医疗主要依赖于基因测序技术,如何高效处理和分析海量的病人的基因测序数据,从中获取个性化的癌变驱动信息成为实现肿瘤精准诊疗的关键和难点问题。基因测序技术从第一代测序技术发展到当前最新的第三代测序技术,其测序通量爆炸性增长。第一代测序技术的通量仅仅只有0.2MB/run,而以Illumina为代表的第二代测序技术其通量能达到1500GB/run左右,第三代测序技术的通量更是达到了 30-400bp/s。测序技术的进步为相关的生物、医学研究提供了有力的支持,但是如何解决海量的测序数据成为急需解决的学术和行业难题。为了解决上述问题,本文基于Hadoop系统设计并实现了一套高通量测序数据自动化并行处理系统(SeqReduce),其主要的目的是利用计算机集群,为海量的测序数据分析提供一款高效、稳定、低廉的自动化处理工具。该系统的核心设计思想是通过MapReduce并行运算框架对相关测序数据进行分割、对比、信息查询,最后输出突变基因信息文件或者转录本文件。该系统具有以下几个优点:(1)该款工具能够同时兼容多种测序平台包括主流的Illumina以及Roche 454等所产生的测序数据。(2)该款工具不仅能够处理DNA-seq的数据,还能够对RNA-seq数据进行分析处理。(3)为了使该工具能够适应不同的硬件坏境,设计了两种不同的并行处理模式,分别是低性能模式和高性能模式,使得该工具能够适应不同配置条件的硬件环境。