近几年,在互联网及移动互联网的双重作用下,互联网产品与移动互联网应用涨势迅猛,从大型门户网站到电商网站,如新浪、腾讯、淘宝、京东等,给人们生活带来了便利的同时也给技术人员带来了极大的挑战。人们每天都上传和分享图片和视频,无论何时何地,人们都可以进行快捷的网上购物,浏览商品的信息。图片和视频逐渐替代了文字。这些大型网站所存储的图片和视频数据量相当庞大,每日几乎呈TB级增长,且具有高并发访问特性。因此,如何有效存储和快速处理海量图片与视频变得格外重要。随着Haoop分布式开源系统的到来,它的两大核心机制:Hdfs和MapReduce,为我们开启了新的思路,采用Hdfs实现图片和视频的共享存储,用户可同时同多个数据节点上读取数据,解决高并发访问的问题。同时采用MapReduce实现数据的并发处理,为图片处理和视频转码赋予了极为有利的分布式环境。但Hadoop的设计初衷并不利于图片这种小文件的存储,它是为流式访问大文件而架构的,图片小文件的处理成为Hadoop系统的瓶颈。针对该问题,本文通过研究当前已有的几个解决方法,提出了自己的思路方案。本文在Hadoop的基础之上,设计并实现了图片、视频的有效存储和分布式处理。本文的主要工作包括以下三个部分:(1)针对图片小文件的问题,自定义实现图片的优化存储。将图片小文件合并成大文件,用户可通过索引映射关系快速找出图片小文件所在大文件的位置,同时实现大文件的可追加性;(2)在Hadoop分布式平台上,重写MapReduce的输入输出格式接口,实现OpenV的图片并行化,并以图片的二值化处理为实现案例;(3)在Hadoop分布式平台上,实现Ffmpeg的并行化,对视频进行分布式处理,并以视频转码,添加水印效果为实现案例。最后,本文通过设计图片和视频的单机和分布式处理的性能对比实验,验证了图片和视频分布式处理的有效性和必要性。