谈起全球高性能计算TOP500排行榜，很多人会觉得这里面的机器都是用于科学研究领域的超级计算机。但实际上，TOP500正在悄悄地发生变化，其覆盖的领域已经不再仅仅是高性能计算（high-performance computing，HPC）了，更多的入选系统都是企业级的应用方案。特别是在2007年11月发布的最新一期（第30次）TOP500排行榜中，其中大多数系统都是基于企业级数据中心的（Enterprise Datacenter，以下简称EDC），而只有少数是传统意义上的高性能计算机（HPC）。本文我们将分析高性能计算的发展历史和当前的技术趋势，也为TOP500的分析提供一种新的方法。
商品化集群服务器时代 对I/O需求激增
HPC和EDC对新技术的采用速度是不同的。HPC市场的特征就是快速的变化——从架构到技术到应用——都是如此。HPC唯一一个相对稳定的特征就是对计算性能有着无休无止的需求，从TOP500排行榜就能看出，其总体性能平均每10年就增长100倍！而EDC市场的变化就没那么快，也要温和得多。因此，我们看到，HPC市场在不断地推动技术进步，对许多前沿的体系架构进行研究和试用；而只有那些被HPC广泛采用，特别是被商品化HPC市场广泛采用的方案，才会最终被EDC市场所接受，并得到普及。
目前，商品化的集群（Cluster）服务器无论是在HPC领域还是在EDC领域都占据了主流地位，这得益于商品化集群能够提供巨大的性价比优势，在部署过程中又有着无与伦比的灵活性，而且后期需要维护的成本较低。根据最新的TOP500排行榜，超过80%的入选系统都采用了集群架构。
随着集群架构的广泛部署，对节点互连网络的要求也随之增加。
在互连方案上，商品化、标准化部件得到了广泛应用，使得千兆以太网和InfiniBand成为了主流。在早期阶段，当单核CPU还盛行的时候，千兆以太网主要用于I/O非密集型的应用，InfiniBand则主要用于高性能计算或I/O密集型的企业应用。而自2005年以来，随着业界对增加性能和降低功耗的需求越来越紧迫，多核芯处理器逐渐取代了单核CPU。这也意味着，在集群架构中，有更多的CPU需要共享相同的网络I/O连接，从而使得对更强大的标准化连接网络的需求也越来越强烈。
另外，在今天的计算方案中，如何最大化提升生产效率，同时降低功耗，成了关键的问题。在HPC领域，绝大多数是计算密集型应用，能够充分利用全部的计算资源，因此在集群服务器节点之间，需要吞吐率更高、延迟更低的互连。而在EDC领域，许多应用并非计算密集型的，因此为了提高CPU利用率，虚拟化方案就变得非常必要了。虚拟化方案可以在同一台计算机系统上运行多个操作环境或多个应用，以尽量提高CPU利用率。但这也同样对互连网络提出了更高的要求，以满足服务器之间、服务器与存储之间的数据交换需求。可见，尽管从应用的角度来看，HPC和虚拟化EDC环境有所不同，但它们对集群互连网络的需求却是相同的。
TOP500：HPC和EDC技术趋势分析
下面，我们再来了解一下TOP500。TOP500所列的是全球500个运行着最强大计算机系统的站点。但它并不意味着这些系统日常是当作单一的一台超级计算机在使用，很多系统只是把所有的计算资源聚合起来，形成单一的超级计算机来执行LINPACK测试，然后向TOP500组织提交结果。有时这一测试是在新系统安装的时候进行的。
传统上，TOP500被视为与HPC相关的排行榜，很多人通过分析这个榜单的数据来了解HPC的市场趋势和技术趋势。但实际上，随着HPC和EDC的系统架构越来越趋同，TOP500列盘点的已经不仅仅是HPC了。特别是在最新的一期排行榜中，集群架构在HPC和EDC系统中都得到了广泛的采用。
为了对TOP500能够进行更加科学合理的分析，不妨将TOP500分成两部分来对待，一是前100名的系统，主要还是集中在HPC领域；二是后400名系统，包括HPC和EDC两大类。
1）TOP100：高性能计算
在今天的TOP500中，TOP100是纯粹的HPC部分，是名副其实的超级计算机。TOP100系统还可以分成两大类：51%采用集群架构（2005年11月的份额是41%），47%是MPP架构（2005年11月是55%）。
在最近几期的排行榜中，集群架构表现出了相当强的增长态势，逐渐成为受HPC系统最欢迎的解决方案。同时，随着标准化、商品化部件的普及，近几年来，标准的互连网络也得到了大面积采用。InfiniBand成为了HPC特别是集群系统的主流选择，在TOP100集群系统中占据了超过58%的份额。考虑到多核CPU服务器节点的不断增加，对高带宽和低延迟的要求也越来越高，所以不难推测未来几年InfiniBand还有很大的发展空间。
相反，采用专有互连方案的集群系统份额已经从2005年11月的70%下降到了2007年11月的少于20%，这也说明市场更愿意接受标准化的部件，要知道，那些标准化部件今天已经能够提供非常出色的性能和性价比。而且，InfiniBand不仅仅用于集群系统，也适用于MPP系统。不过，有趣的是，在TOP100中，很少能看到万兆以太网的身影。其原因主要在于，对于HPC应用而言，在网络阻塞控制、自适应动态路由，尤其是在降低CPU资源消耗方面，InfiniBand比万兆以太网更有优势。
2）TOP101-500：通用集群
跟TOP100不同，TOP101-500之间的400套系统绝大多数是集群（355套，近90%），只有44套系统采用MPP。
这一部分较低端的系统已经成为集群的天下，代表了通用集群计算的市场，既有HPC应用，也有EDC应用。而且，即便是用于HPC领域，其应用范围也扩展了很多，不只是针对某个单一的应用，它们中很多系统只是在测试Linpack时充当了一回“临时超级计算机”的角色。在互连方面，InfiniBand和千兆以太网占据了近90%的系统份额（347套）。在未来几年里，对于这些中低端系统，集群架构和标准互连技术仍然会继续流行，因为这一架构能够提供足够好的灵活扩展性，而且比其他架构具备更好的性价比。
通过分析这355套集群系统的应用领域，我们发现，有40%是用于HPC，如教育、科学研究等，另外60%都是用于EDC领域。在HPC集群中，有45%使用了InfiniBand，另外55%使用了千兆以太网。由于在多核CPU和服务器整合等技术趋势的推动下，InfiniBand取得了比较稳定的增长。而在EDC集群中，千兆以太网的份额高达85%，另外15%采用的是InfiniBand。由于许多EDC系统都是那种为了测试Linpack组建起来的“临时性的超级计算机”，而平时主要用作独立的工作站，所以对高速互连的需求不象HPC集群那么强烈。
基于千兆以太网的EDC系统的平均效率（实际利用性能与理论可用性能的比值）为50%左右，而基于InfiniBand的系统的效率要高一些，达到70%。这也能说明这些系统是被当作小规模集群或者独立工作站来使用的。要知道，低效率意味着计算能力的大量浪费，以及高昂的维护成本（较低的性价比和较低的性能功耗比），这是超级计算机所无法容忍的。而且，考虑到EDC市场对新技术的接受速度本身就比较慢，因此不象HPC系统那样大量使用InfiniBand，这也是可以理解的。
就基于InfiniBand的系统来说，其中70%是HPC，30%是EDC，这跟千兆以太网的方案正好相反——后者30%是HPC，70%是EDC。尽管HPC和EDC都共同采用了一些关键的新技术如多核CPU、集群架构，但对虚拟化只适用于EDC。
虚拟化的目标是通过在同一个物理系统上并行地运行多个应用来提高系统的利用率。而绝大多数HPC都用不上虚拟化，因为它们已经能够充分地利用系统的计算资源。在EDC领域，情况却截然相反——虚拟化成为了一项关键的技术趋势。而随着虚拟化的普及，对系统I/O的要求也会越来越高。这也就需要互连网络能够提供更高的带宽。因此，不难预测，在未来TOP500排行榜中，更多的EDC系统会采用性能更高的InfiniBand。
跟TOP100中的情况一样，在这些低端系统中，也很难看到万兆以太网的身影，其原因是一致的。因为，在性价比方面，万兆以太网比不过InfiniBand和千兆以太网，而在性能、带宽方面，也比不过InfiniBand，难以满足虚拟化系统对I/O吞吐量的需求。40Gb/s的 InfiniBand 已经出现，随着InfiniBand在EDC市场中的流行，这一技术不仅对集群环境，而且对虚拟化环境都是非常关键的。另外，随着功耗因素在系统设计过程中越来越重要，性能功耗比和性能价格比一样会成为关键的衡量指标，而InfiniBand正好能够在低功耗水平下实现高吞吐能力，这一点也会促进InfiniBand的普及。
小结
TOP500是为了对全球性能最高的前500台超级计算机进行排名，而实际上，这个排行榜所反映的不仅是HPC类的应用，也反映了其他类应用，特别是EDC领域。由标准化部件构成的集群架构在各类应用和各级规模的系统中都得到了非常广泛的普及——无论是由10万台服务器节点构成的大规模系统，还是由10台服务器构成的小规模系统，抑或是单一的工作站系统。由于小规模系统和独立工作站/服务器能够连接在一起组成“临时的超级计算机”，从而进入到TOP500中，所以，许多OEM厂商开始向TOP500提交“非高性能计算型”的系统Linpack值。
为了分析近期TOP500的变化，以更好地了解技术趋势和市场趋势，我们把这个榜单分成了HPC类系统（TOP100）和通用集群（TOP101-500）两大类。前者反映了HPC市场的趋势，后者反映了包括HPC和EDC在内的通用集群市场。
尽管HPC和EDC系统的使用模式和应用领域是不同的，但大多数技术趋势却是一致的。考虑到HPC系统在计算量和计算精度方面的要求越来越高，EDC系统开始大量采用虚拟化环境，加上这二者都大量采用了多核CPU，需要更加快速的存储，因此会促使更高吞吐、更低延迟的I/O方案的发展。InfiniBand是唯一能够满足带宽、延迟、功耗和利用率等诸多需求特征的工业标准化互连技术。目前，InfiniBand已经成为高性能计算应用的主流选择，而且开始向企业级数据中心领域渗透。凭借出色的性价比和性能功耗比优势，我们预测，在可预见的未来几年里，InfiniBand会得到越来越多的普及。
| 
