随着计算机技术、移动互联网以及云计算的飞速发展,数据中心作为大数据处理的物理载体,引起人们的广泛关注。然而,随着大数据处理的规模不断增加,基于密集型分布式计算的应用使得数据中心内传统的电互联网络开始变得越来越力不从心,而光交换技术凭借着其高带宽、低时延和多粒度等优势,被广泛认为是支持未来面向分布式计算应用,保证高质量数据通信的核心技术。对于·光互联数据中心网络,传输时延依然可能成为分布式计算应用性能的瓶颈。这是因为,传统意义上,应用和光网络是相对独立的,底层网络缺乏对应用层面的流量及通信特征的认知;同时上卜层计算应用在进行任务分配时,通常只考虑计算和存储资源的优化,而将网络作为一个底层传输管道。为此针对上述问题,本论文将对上层分布式计算和网络具体的协同机制与跨层算法进行详细设计和讨论。本论文的具体工作可以归纳为以下两部分:首先,研究了网络感知的分布式计算资源分配机制与算法。基于目前最广泛的分布式计算平台Hadoop,重点分析了 Hadoop资源管理架构YARN中的资源分配机制,进而分析其造成的网络较大传输时延的原因。在此基础上,基于集群作业任务运行状态信息的网络感知,提出集群网络资源状态和计算任务数据输入节点的网络位置相结合的资源分配算法。并通过仿真实现对算法性能进行验证。结果表明,基于·网络感知的资源分配算法可以显著降低分布式计算作业的平均完成时间。其次,研究了应用感知的光网络资源调度机制。提出了一种应用感知的光网络资源调度架构,其通过基于OpenFlow的集中控制平面实现上层应用需求到底层细粒度网络资源的准确映射。之后,对架构中所涉及到的通信接口协议进行了设计及扩展,并针对相关流(Coflow)调度,对光网络控制器进行设计与实现。最后,通过搭建简单实验平台,对所提架构和协议扩展的可行性及有效性进行了验证。