随着中国在大数据战略方向的实施,大数据的应用将得到蓬勃发展,而大数据在产业结构升级的方方面面发挥着重要作用。我国各行业积累着丰富的数据资源,企业在大数据方向投入稳步提升。大数据整条链路的加工、处理过程中,存在数据生产的上下游协作效率低,数据的交付解释来龙去脉的成本较高,异构数据交换存在定制化开发等问题,因此如何提升工程效率协作是研究人员关注的重点。在整个大数据生态中,调度系统起着承上启下的作用。在定时触发、依赖触发的场景下它能够在基于内容理解的基础上提升上下游协作的紧密程度,打破传统基于任务方式的触发,减少对于数据流内容的关注。本文的主要研究内容如下:(1)构建了开放式ETL模型:在大数据的异构数据进行交换时,通过抽象数据引擎的读写细节,只关注数据和数据的上下游规则。(2)提出了基于定义满足规则的数据上下游模型:通过读取引擎语法的分析,解析出上下游收依赖字段离别的血缘关系模型。提供数据依赖关系和链路过程解释。(3)提出了精细化调度策略:采用最小运行单元,满足基于内容理解的依赖关系解析,满足条件即运行的策略。采用百度外卖大数据调度任务进行实证研究,所提出的调度策略在应用执行交付时间上有明显提升。本文为当前的大数据调度系统研究提供了有价值的借鉴和参考,并通过实证分析证明了基于字段粒度内容理解提高上下游协作的有效性,为实际的大数据高效调度提供了一定的参考价值和理论意义。