论文部分内容阅读
前不久，Sebastian Anthony为ExtremeTech网站写了一篇文章，题为《你用超级计算机能做什么？》（http://www.extremetech.com/extreme/122159-what-can-you-do-with-a-supercomputer）。他得出的结论是，“用处不大”；对许多人来说，大抵如此。不过，如果你对超级计算机有更深入的了解，答案也许会变成“用处很大”。
如果指的是世界上最庞大的超级计算机，Anthony的观点基本上正确。的确，过去对超级计算机一种非常适用的定义是“售价至少达到六位数的计算机都是超级计算机。”在过去，这个定义基本上正确，构筑了想高速处理数字的那些人面前一道相当高的准入门槛。成本之所以这么高，是由于超级计算机与其余计算机在架构方面隔着一道墙。这种系统旨在使用向量处理器，高速执行数学运算。超级计算机的定义相当合适，只不过制造成本使得自行建造向量处理器的费用贵得离谱。
大众化超级计算机
想证明如今高昂的处理器制造成本是有必要的，唯一的办法是销售大量处理器。传统的超级计算机市场每年销售的新系统只有数以百计，无力为这么小的市场继续制造定制处理器。与此同时，由于竞争因素，价格低廉的大众化x86处理器变得速度更快，这反过来带来了更大的销量，证明高昂的制造成本是有必要的。
结果就是，大众化X86处理器变得高速又便宜。小众化的向量处理器在这个领域很难有竞争力，几乎仅剩的所有传统超级计算机公司都开始销售基于大众化处理器集群的并行设计系统。基本的部件包括计算节点（由大众化处理器、内存、可能还有硬盘组成）、互连系统和某种类型的全局存储系统。互连系统品种繁多，有的极便宜（速度极慢），起初是快速以太网；有的比较昂贵（速度极快），比如早期的Myrinet或QSnet。之前使用面向Fortran、C和C++的消息传递接口（MPI）库，完成并行编程工作。这种可扩展方法开辟了一个全新的大众化超级计算机时代。这股潮流在下图中得到了清楚的体现，该图表示了在过去的18年间全球速度最快的500台计算机（按HPL基准测试排名）各自的处理器系列的进化。
高性能计算（HPC）处理器的历史趋势（图片来源Top500.org）
能够使用大众化的现成部件，这大大降低了准入门槛，让科学家和工程师们得以购买符合预算的高性能计算能力。大大小小的集群开始出现在每个地方。使用标准的Linux发行版，也可以仅仅借助几台旧的x86系统，“搭建起自己的”集群。 实际上，由于高端与低端之间的区别实际上取决于可以购买多少个处理器，某种级别的“超级计算”可以为大众所享用。
在这个过程中，“超级计算机”这个术语开始日渐式微，而高性能计算即HPC这个术语开始大行其道。（有时使用HPTC即高性能技术计算）。这种变化主要归因于传统超级计算机与大众化硬件组成的集群之间的壁垒逐渐消失。集群通常把性价比提高了十倍，把准入成本降低了至少十倍。
到底何为超级计算机？
现在定义何为“超级计算机”仍有一些难度。一种简单的定义是，超级计算机提供了超过单单一台机器所能提供的性能。不过，这个定义不够严谨，因为把多个图形处理器（GPU）添加到单单一台服务器也能组建一台功能很强大的系统。此外，多核的出现也让数量众多的核心可以放置到单单一个服务器机箱中。可能一种更合适的定义是，把单一应用的性能提高到超过目前市面上速度最快的单一处理器/协处理器的任何计算机都是超级计算机。也就是说，如果你结合多个处理器/GPU来提升每秒浮点运算能力（FLOPS），那么你就进入了HPC领域。至于是否拥有“真正的超级计算机”，这似乎不大重要，因为性能是可扩展的。
有人建议，不妨根据世界上速度最快的超级计算机（如全球超级计算机500强排行榜）的某个阀值来定义超级计算机，不过这种方法有点不可靠，因为全球超级计算机500强排行榜是按某一种基准测试排名的。其他机器（包括可提供大量输入/输出的机器）在HPL基准测试方面的表现也许不是相当好，但在其他方面能提供破记录的性能。
超级计算机的定义已变得有点模糊，因而挑选几台高速系统来代表HPC计算的范畴有点站不住脚。那篇文章中提到的其他一些概念也需要加以澄清。首先，并非所有的高端HPC机器都采用水冷法。这种情况可能会变，但肯定并非惯例。大多数系统上不需要定制版本的Linux内核；Linux发行版及其含有的内核对大多数集群来说完全足够了。需要一些另外的软件，比如MPI库和管理工具；但是总的来说，常规的Linux发行版用起来够好了。互连系统各不相同，如今最流行的高性能解决方案是InfiniBand，不过数量众多的生产集群采用了千兆以太网。使用GPU增强型节点也变得更为常见。用户常常可以自由选择哪些部件最适合组建自己的“超级计算机”。当然，有些非常高端的定制部件有助于带来最高性能，但常常并非一定需要它们才能涉足HPC。
我用超级计算机能做什么？
至于“我用超级计算机能做什么？” 这个问题，回答就是：“与许多方面一样，这取决于你想用来做什么。”早在第一批PC问世的时候，有人提出了同一个问题，当时一种常见的答复是：“用处不大”。后来软件开发出来，新市场形成起来，包括《孤岛危机2》等游戏，而在当时玩这些游戏无疑需要超级计算机。
如果你需要运算数字，就像为第一代计算机编写程序的那些人一样，那么可以用HPC来做好多事情。除了许多免费使用的HPC应用（http://tweaks.clustermonkey.net/index.php/Open/Freely_Available_Cluster_Applications）和编程工具（http://tweaks.clustermonkey.net/index.php/Programming_Tools）外，还有一张不完整的列表（http://agenda.clustermonkey.net/index.php/Cluster_Application_Areas/Markets）。许多应用面向特殊的技术领域，普通的计算机用户不会感兴趣。不过，这些应用对学生、教师、研究人员、科学家和工程师来说非常重要，因为他们可能要访问比较少的、适量的HPC资源。而且，自行编写应用程序尽管比大多数编程任务来得困难，但也并非需要拿到高级学位才能动手。Cluster Monkey网站上有许多资源（http://www.clustermonkey.net/Navigation-Page/learning-about-clusters.html）可以帮你入门。
更适合你我的是，HPC还有其他令人关注的用途，其中许多把人工智能（AI）引入到日常使用。你也许没有注意到，IBM的Watson让超级计算从下棋进入到全然不同的认知水平。许多超级计算机与Watson一样，起初基本上是成本高昂的定制机器，最终为价格低廉的小型机器或设备铺平了道路。“云计算”可能也会在超级计算机应用方面带来一些令人关注的机会。你最近有没有用过Siri服务？
最后，个人HPC的准入门槛变得越来越低。不妨考虑Limulus Project，这项计划旨在把真正的HPC能力引入到价位在5000美元以下的桌面端市场。该项目包括硬件和软件，让个人可以运行真正的HPC应用，并且从事有意义的开发工作。考虑到HPC的现状，我们要提的问题应该是：“我用桌面端16个核心、每秒2000亿次浮点运算能力的性能和数TB的存储系统能做什么？”
只有你回答得了上面这个问题。
桌面端个人超级计算机
http://www.clustermonkey.net/Opinions/supercomputers-getting-it-right-and-wrong.html
如果指的是世界上最庞大的超级计算机，Anthony的观点基本上正确。的确，过去对超级计算机一种非常适用的定义是“售价至少达到六位数的计算机都是超级计算机。”在过去，这个定义基本上正确，构筑了想高速处理数字的那些人面前一道相当高的准入门槛。成本之所以这么高，是由于超级计算机与其余计算机在架构方面隔着一道墙。这种系统旨在使用向量处理器，高速执行数学运算。超级计算机的定义相当合适，只不过制造成本使得自行建造向量处理器的费用贵得离谱。
大众化超级计算机
想证明如今高昂的处理器制造成本是有必要的，唯一的办法是销售大量处理器。传统的超级计算机市场每年销售的新系统只有数以百计，无力为这么小的市场继续制造定制处理器。与此同时，由于竞争因素，价格低廉的大众化x86处理器变得速度更快，这反过来带来了更大的销量，证明高昂的制造成本是有必要的。
结果就是，大众化X86处理器变得高速又便宜。小众化的向量处理器在这个领域很难有竞争力，几乎仅剩的所有传统超级计算机公司都开始销售基于大众化处理器集群的并行设计系统。基本的部件包括计算节点（由大众化处理器、内存、可能还有硬盘组成）、互连系统和某种类型的全局存储系统。互连系统品种繁多，有的极便宜（速度极慢），起初是快速以太网；有的比较昂贵（速度极快），比如早期的Myrinet或QSnet。之前使用面向Fortran、C和C++的消息传递接口（MPI）库，完成并行编程工作。这种可扩展方法开辟了一个全新的大众化超级计算机时代。这股潮流在下图中得到了清楚的体现，该图表示了在过去的18年间全球速度最快的500台计算机（按HPL基准测试排名）各自的处理器系列的进化。
高性能计算（HPC）处理器的历史趋势（图片来源Top500.org）
能够使用大众化的现成部件，这大大降低了准入门槛，让科学家和工程师们得以购买符合预算的高性能计算能力。大大小小的集群开始出现在每个地方。使用标准的Linux发行版，也可以仅仅借助几台旧的x86系统，“搭建起自己的”集群。 实际上，由于高端与低端之间的区别实际上取决于可以购买多少个处理器，某种级别的“超级计算”可以为大众所享用。
在这个过程中，“超级计算机”这个术语开始日渐式微，而高性能计算即HPC这个术语开始大行其道。（有时使用HPTC即高性能技术计算）。这种变化主要归因于传统超级计算机与大众化硬件组成的集群之间的壁垒逐渐消失。集群通常把性价比提高了十倍，把准入成本降低了至少十倍。
到底何为超级计算机？
现在定义何为“超级计算机”仍有一些难度。一种简单的定义是，超级计算机提供了超过单单一台机器所能提供的性能。不过，这个定义不够严谨，因为把多个图形处理器（GPU）添加到单单一台服务器也能组建一台功能很强大的系统。此外，多核的出现也让数量众多的核心可以放置到单单一个服务器机箱中。可能一种更合适的定义是，把单一应用的性能提高到超过目前市面上速度最快的单一处理器/协处理器的任何计算机都是超级计算机。也就是说，如果你结合多个处理器/GPU来提升每秒浮点运算能力（FLOPS），那么你就进入了HPC领域。至于是否拥有“真正的超级计算机”，这似乎不大重要，因为性能是可扩展的。
有人建议，不妨根据世界上速度最快的超级计算机（如全球超级计算机500强排行榜）的某个阀值来定义超级计算机，不过这种方法有点不可靠，因为全球超级计算机500强排行榜是按某一种基准测试排名的。其他机器（包括可提供大量输入/输出的机器）在HPL基准测试方面的表现也许不是相当好，但在其他方面能提供破记录的性能。
超级计算机的定义已变得有点模糊，因而挑选几台高速系统来代表HPC计算的范畴有点站不住脚。那篇文章中提到的其他一些概念也需要加以澄清。首先，并非所有的高端HPC机器都采用水冷法。这种情况可能会变，但肯定并非惯例。大多数系统上不需要定制版本的Linux内核；Linux发行版及其含有的内核对大多数集群来说完全足够了。需要一些另外的软件，比如MPI库和管理工具；但是总的来说，常规的Linux发行版用起来够好了。互连系统各不相同，如今最流行的高性能解决方案是InfiniBand，不过数量众多的生产集群采用了千兆以太网。使用GPU增强型节点也变得更为常见。用户常常可以自由选择哪些部件最适合组建自己的“超级计算机”。当然，有些非常高端的定制部件有助于带来最高性能，但常常并非一定需要它们才能涉足HPC。
我用超级计算机能做什么？
至于“我用超级计算机能做什么？” 这个问题，回答就是：“与许多方面一样，这取决于你想用来做什么。”早在第一批PC问世的时候，有人提出了同一个问题，当时一种常见的答复是：“用处不大”。后来软件开发出来，新市场形成起来，包括《孤岛危机2》等游戏，而在当时玩这些游戏无疑需要超级计算机。
如果你需要运算数字，就像为第一代计算机编写程序的那些人一样，那么可以用HPC来做好多事情。除了许多免费使用的HPC应用（http://tweaks.clustermonkey.net/index.php/Open/Freely_Available_Cluster_Applications）和编程工具（http://tweaks.clustermonkey.net/index.php/Programming_Tools）外，还有一张不完整的列表（http://agenda.clustermonkey.net/index.php/Cluster_Application_Areas/Markets）。许多应用面向特殊的技术领域，普通的计算机用户不会感兴趣。不过，这些应用对学生、教师、研究人员、科学家和工程师来说非常重要，因为他们可能要访问比较少的、适量的HPC资源。而且，自行编写应用程序尽管比大多数编程任务来得困难，但也并非需要拿到高级学位才能动手。Cluster Monkey网站上有许多资源（http://www.clustermonkey.net/Navigation-Page/learning-about-clusters.html）可以帮你入门。
更适合你我的是，HPC还有其他令人关注的用途，其中许多把人工智能（AI）引入到日常使用。你也许没有注意到，IBM的Watson让超级计算从下棋进入到全然不同的认知水平。许多超级计算机与Watson一样，起初基本上是成本高昂的定制机器，最终为价格低廉的小型机器或设备铺平了道路。“云计算”可能也会在超级计算机应用方面带来一些令人关注的机会。你最近有没有用过Siri服务？
最后，个人HPC的准入门槛变得越来越低。不妨考虑Limulus Project，这项计划旨在把真正的HPC能力引入到价位在5000美元以下的桌面端市场。该项目包括硬件和软件，让个人可以运行真正的HPC应用，并且从事有意义的开发工作。考虑到HPC的现状，我们要提的问题应该是：“我用桌面端16个核心、每秒2000亿次浮点运算能力的性能和数TB的存储系统能做什么？”
只有你回答得了上面这个问题。
桌面端个人超级计算机
http://www.clustermonkey.net/Opinions/supercomputers-getting-it-right-and-wrong.html