随着硬件功能的不断丰富和软件开发环境的逐渐成熟,GPU在通用计算领域的应用越来越广泛,使用GPU集群来进行海量数据计算的例子不胜枚举。但是,相对于CPU,GPU的功耗较大,如果每个节点都配备GPU,则将大大增加集群的功耗。虚拟化技术的引入使得在虚拟机中利用GPU资源进行通用计算成为可能。为高效、充分地利用GPU,针对GPU的特点,提出了一种面向多任务的可动态调度、支持多用户并发的GPU虚拟化解决方案。在已有的GPU虚拟化方案的基础上,综合考虑虚拟机域间通信的通用性以及任务的周转时间,建立了CUDA管理端来对GPU资源进行统一管理。通过设置综合负载评价值实现负载均衡并降低任务的平均周转时间。在设计的系统上进行大规模矩阵运算实验,结果说明了GPU虚拟化方案在计算系统中的可行性和高效性。