在数字信息爆发的年代，原始的视频图像数据由于其庞大的数据量使得其在传输时面临着很大的挑战，而且人们对视频信息的需求向着越来越高清、实时性更好的方向发展。而高清视频解码需要庞大的数据存储需求和频繁的数据读写，这给解码器带来大量硬件资源消耗和功耗。使得存储体系的性能成为限制解码器速度的主要瓶颈，也是解码器能否支持高清视频解码的关键技术所在。本文从H.264视频解码器的存储结构入手，对高清视频解码器各模块的存储需求进行了详细的分析，并依据各功能模块的存储需求，在码流解析模块设计了片内码流存储器和码流缓存器；在帧内预测单元中，设计了预测模式和相邻参考块的存储结构；在帧间预测单元中，设计了运动矢量存储器，以及层次化的参考块存储结构；在去方块滤波单元中，设计了滤波数据存储器和它的数据控制结构，并给出了本设计中重构图像的地址生成机制。根据所设计的存储结构，采用Verilog硬件语言对解码器各模块进行RTL描述，并使用modelsim工具进行功能验证。设计了解码器的功能验证平台，并采用JM18.5软件解码器作为本设计验证的黄金模型。在验证解码功能正确后，搭建了SoC验证平台，使用Xilinx ML605开发板进行了FPGA验证。最后使用ISE软件对解码器进行综合，得到解码器工作的最高频率为71.136MHz，同时对多组视频测试序列的单帧解码周期进行统计。结果表明，在最坏情况下，单帧解码周期数最大为2.35×106，解码器仍能满足1秒30帧的实时解码要求。