BCL-3:商品超级服务器DAWNING-3000的高性能基础通信协议

BCL-3:商品超级服务器DAWNING-3000的高性能基础通信协议

一、BCL-3: A High Performance Basic Communication Protocol for Commodity Superserver DAWNING-3000(论文文献综述)

谢旻[1](2007)在《高可用MPI并行编程环境及并行程序开发方法的研究与实现》文中研究表明科学技术的发展进步使得越来越多的学科领域开始采用科学计算、数值模拟的手段来解决科学研究和工程实践中遇到的各种问题,这些应用问题往往具有大计算量,大数据存储量,以及大数据交换量的需求,大规模并行计算机系统是当前满足这些高性能计算需求的主流计算机系统结构实现方式。随着并行计算机系统规模的扩展,随之而来的是并行应用的可扩展性难题和系统可靠性的降低,一些超大规模并行计算系统的平均故障间隔时间甚至只有几小时,在这种情况下,如果不能提供高性能、具有容错能力的并行软件开发和运行环境,那么很多大规模的并行应用将无法高效率地运行,并最终成功完成,这将严重影响系统和应用的可用性。消息传递是开发并行应用的主要编程模型,MPI是消息传递编程接口的事实标准,具有并行算法实现灵活、性能高和可移植性好等特点。本论文紧密围绕提高大规模并行计算机系统和应用的可用性这一中心目标,对实现高可用MPI并行编程环境的相关问题展开研究,包括性能、可扩展性和容错能力。另外,考虑到未来并行计算系统的规模还将进一步扩大,为了更有效的进行容错处理,论文还从MPI并行程序开发的角度,研究探讨了高效的容错并行算法设计方法。论文的主要研究成果和创新包括:1)提出了一个面向大规模并行计算机系统的新型通信硬件接口CNI的结构设计,并在其上实现了Communication Express(CMEX)通信软件接口,该软件接口能够提供保护的、并发的、完全用户级的通信操作,支持进程间的零拷贝数据传输,并且采用无连接的语义实现了报文传输和RDMA两种通信机制,具有很好的数据传输性能,对实现具有良好可扩展性的软件系统提供了重要支持。我们也提出了采用静态程序分析和模型检验技术对CMEX通信软件接口进行验证的基本方法,以保证通信软件接口本身的正确性和可靠性。2)基于CMEX通信软件接口和MPICH2系统,本文研究了通过RDMA通信机制实现高性能、可扩展MPI并行编程环境MPICH2-CMEX的技术途径。面向性能需求,设计和实现了基于RDMA读和写操作的高效消息数据传输方法;面向可扩展性需求,一是提出了动态反馈信用流控算法,允许频繁通信的任务间通信资源的动态扩展,从而更有效地配置通信资源;二是结合并行应用的近邻通信模式,实现了组合通道数据传输方法,在并行应用的规模扩展时,能够在保证计算性能的同时,控制MPI系统内部的通信和内存资源消耗。我们在大规模并行计算机系统中进行了实际MPI并行应用的测试,取得了很好的计算加速比。3)为提高MPI并行应用的容错能力,在MPICH2-CMEX并行编程环境中设计实现了一个完全用户透明的系统级并行检查点,采用阻塞式协同检查点协议。针对并行检查点操作过程的主要开销来源,一是提出了结合并行应用的近邻通信模式特性,利用虚连接技术优化的低延迟协同协议实现技术,二是设计了利用全局并行文件系统的检查点系统结构,通过全局共享目录和并行I/O操作,简化检查点映像文件的管理,减少检查点映像数据的存储开销。通过一些并行应用的测试表明,该并行检查点系统具有较低的检查点运行时间开销,协同协议具有良好的可扩展性,检查点映像存储过程时间较短,为并行应用的长期可靠运行提供了有效的支持。4)面向未来超大规模并行计算机系统的并行应用容错需求,提出了一种面向MPI并行程序的新型容错并行算法(FTPA)的设计方法,该方法的核心思想在于它是通过并行应用中无故障任务并行复算故障任务的工作来应对系统中出现的故障。本文讨论了FTPA算法的设计思路和算法实现中的关键问题,提出了指导FTPA算法设计的进程间定值—引用分析方法和相关原则,并通过具体的并行应用实例说明了在不同并行应用中FTPA算法的实现细节。在大规模并行计算系统中的实际测试表明,FTPA算法的运行时间开销较低,具有较好的可扩展性。FTPA算法和检查点系统相结合,将是一种解决大规模并行应用容错的有效技术途径。

赵少林[2](2005)在《广域网协议在HPC集群上的应用分析》文中提出随着网络技术的快速发展,集群系统(尤其是PC集群系统)目前已被许多普通用户所使用。但是由于受到网络带宽的限制,使得集群中各处理器间的进程通信速度问题成为制约并行系统效率的主要瓶颈。因此,普及和发展集群技术的关键问题之一,是如何提高系统网络通信的性能。鉴于绝大多数PC集群系统都使用TCP/IP协议的情况,本文着重分析了广域网协议在PC集群系统中的应用,并针对它存在的问题,结合MPI(Message Passing Interface)的通信机制,提出了改进HPC集群的网络性能的方法。 现在PC机的性能不断提高,价格不断下降,很好的性能价格比使很多单位普遍使用PC集群。Linux是Unix在PC机上的实现,它是一种开放源代码的分时操作系统。Linux提供的强大的网络功能,也使它成为了PC集群系统的主流操作系统。MPI作为当前主流的并行编程工具之一,日益受到广大用户的青睐,它主要是通过借助操作系统提供的socket机制来实现具体的通信功能。 MPI消息传递方式是被广泛应用并行机的一种模式,特别适用于那些分布存储的并行机。十多年来,这种模式在重要的计算应用中已取得了实质进步。MPI标准己定义了与C语言、C++和Fortran的绑定。MPICH是MPI的一种稳定的实现,它可以建立与C语言、C++、Fortran 77、Fortran 90、Java的连接。 本文着重分析了作为分布式进程间的通信手段的socket通信机制在Linux中的实现。分析了广域网络协议在集群系统的具体应用,并找出TCP/IP协议不适用于集群系统的地方,进一步讨论了MPI通信机制的实现,并提出改进网络性能的方法。并且在100M的以太网下设计了基于Linux操作系统的PC集群的快速通信协议,来提高集群系统的通信性能。

陈曜[3](2005)在《面向科学计算的操作系统核心研究》文中研究说明超级计算机应用的性能很大程度上受到硬件、系统软件、算法和应用软件的影响,针对各类具体应用进行合理的系统软件优化与定制可以提高性能。科学计算是当前超级计算机系统的一个重要应用方向。科学计算类应用的主要特点是数据量大,计算时间长,系统负荷重。本文针对科学计算应用的特点,讨论了操作系统对科学计算性能的影响,主要包括内存管理和进程调度策略,以及操作系统可能引入的噪声。在讨论结果的基础上,本文分析了针对科学计算应用的几种基于操作系统的可能的优化方法,并在Linux操作系统中进行了尝试。本文提出并且实现了一种在用户空间为应用程序分配超级页面的方法,作为Linux操作系统中内存管理策略的补充。该策略利用Linux系统支持的内核模块,以重定向系统调用的方式为应用程序直接分配以超级页面为单位的物理内存。程序员能够自行选择是否应用超级页面,或同时使用传统页面和超级页面。本文对超级页面内存分配方法进行了不同角度的性能测试评价,结果表明该方法在并行计算应用中对节点间通信性能和内存虚实地址转换性能均有提高。本文对Linpack测试程序进行了基于Myrinet网络的节点间通信状况统计分析,包括通信所占用时间和通信数据包在长度上的分布,以及不同的问题规模、数据分块大小对通信状况的影响,确定了Linpack测试程序在机群系统上的通信特点。应用上述两项工作,在曙光4000A超级计算机上使用超级页面进行了Linpack性能测试,与使用传统页面的测试结果对比,在1024个处理器的规模下,运算效率提升了4%。本文研究结果的主要贡献在于:1.将曙光4000A在2004年6月的世界超级计算机Top 500排行榜上的排名提升到了第10名,提高了两个位置;2.使Myrinet网络的通信带宽在包长8MB时产生了17.5%的增幅。

崔伟[4](2004)在《IntraGRID环境下通信机制的研究与实现》文中进行了进一步梳理网格以共享资源协同计算为目标将成为今后服务于各领域的基础设施,该设施的核心部件包括高性能计算设备、存储设备和贵重仪器等重要资源。目前,机群系统以其优越的可扩展性、可用性、可靠性和性价比在高性能计算机系统中占有主导地位。随着机群系统的大量部署及其上应用的不断增加,如何联合机群的计算力为分布式高性能计算等网格应用提供更大规模的计算平台,是高性能计算机体系结构研究的一个重要课题。面向网格应用的计算机是高性能计算机体系结构发展的重要方向之一。作为本文研究背景的IntraGRID是一种松散耦合的网格计算机结构,把分布的机群联合成为统一的机算机备,用于执行分布式高性能计算等网格应用。IntraGRID的耦合程度比机群松散,其上的并行算法需要做相应调整,例如通过划分通信密集和通信稀疏的进程组,合理调度进程从而更好的利用这种平台结构的特点。IntraGRID通信系统是IntraGRID的关键部件,为其上的分布式高性能计算环境提供底层通信协议,由机群内的机群通信协议和机群间的外部通信协议构成。IntraGRID通信系统使用统一的协议进行机群的内部和外部通信,能够有效的支持分布式并行计算环境。机群间通信协议由网格网关(Grid Gateway)实现,采用网关式的消息转发机制,该方式区别于MPICH-G2和PACX-MPI等网格使能的MPI计算环境采用外部通信机制,更适合在同构机群组成的IntraGRID中进行高效的消息传递。Grid Gateway连接机群互连网络和机群间的高速IP网络,通过转发不同网络上的消息实现机群间通信。Grid Gateway支持多结点转发,通过分流外部通信的消息能平衡机群间通信时节点的负载。本文介绍了IntraGRID及其通信系统的结构和特征,详细分析了Grid Gateway的实现机制,以及全局标识符、机群间通信语义、流量控制、多重路由机制、负载平衡等关键问题,并且给出了机群间通信协议的设计与实现,对机群间通信协议性能、机群间MPI性能进行评价和分析。

田俊刚[5](2004)在《高性能集群系统分析、设计与应用》文中认为高性能集群是一组相互独立的服务器通过高速网络连接构成的高性能计算系统。相对于其它高性能计算机,它的优点是可扩展性好,具有高可用性和很高的性价比。 本文通过对高性能集群技术的分析和对集群互连网络的测试比较,选用SCI可扩展一致性接口技术设计了一个高性能集群,并实现了气象并行计算在高性能集群上的应用。 全文由四部分构成:高性能集群技术、高速互连网络的分析、高性能集群的设计和高性能集群在气象数值预报计算中的应用。 论文首先阐述了高性能计算机的需求和发展现状,研究了高性能集群的体系结构和软、硬件组成,然后详细分析了对集群性能起重要作用的几种高速互连网络的结构和组成,并通过测试对它们的性能指标做了比较。在此基础上,根据气象预报计算的具体需求,采用16节点和SCI网络,设计了高性能集群。同时对该集群网络(SCI)的可用性进行了深入的分析。最后为验证集群的性能,实现了气象数值预报中短期中尺度模式MM5、通用气候模式CCM3和区域气候模式RegCM3在该集群上的调试计算。 综上所述,本文完成了一个高性能集群的详细设计。同时在集群互连技术的分析比较中提供了大量有用的数据,为今后进一步设计大规模的集群奠定了基础。

史岗[6](2004)在《支持软件分布式共享存储系统的机群通信技术》文中进行了进一步梳理在软件分布式共享存储领域,通信开销是阻碍它成为主流并行计算环境的重要原因。在过去的研究中,人们提出许多优化措施来减少通信开销,比如:支持更放松的一致性模型来减小消息个数和消息量;采用多写协议减少消息个数;采用写向量技术减小缺页时的消息量;采用数据预取来容忍通信延迟。然而,随着存储一致性协议的成熟,大幅度减小通信次数和通信量已十分困难。本文的目的就是要研究有效的机群通信技术来进一步提高软件分布式共享存储系统的性能。本文分析了软件分布式共享存储系统的通信行为特点,并对基于home的软件分布式共享存储系统JIAJIA在三个通用的高性能互连网络上的性能做了测试和分析。发现:①软件分布式共享存储系统对网络的通信延迟和带宽都十分敏感;②由于采用“请求-应答”通信模式,消息的异步处理机制不仅使得计算和通信无法重叠,而且对于系统中为数较多的远程取页操作,这种通信模式的效率较低;③程序运行中出现的并发通信和接口竞争行为通常是导致并行应用性能降低的主要原因之一。基于在通信上的这些特点,本文设计并实现了一个适合软件分布式共享存储系统特点的机群通信系统FRAMP (Fast Remote Access and Message Passing)。FRAMP机群通信系统由完全定制的交换机、网络接口卡和通信协议组成。交换机采用全互连交叉开关结构和缓冲虫洞交换方式,同时在网络接口上支持消息传递和远程直接内存读/写两种通信模型,实现了纯用户级的通信协议,获得了高带宽、低延迟的网络通信性能。对FRAMP的性能测试表明:在33MHz,32位PCI传输方式下,pingpong测试的小消息单向延迟为5.7μs,渐近带宽达到101MB/s。基于FRAMP实现的软件分布式共享存储系统,由于有交叉开关网络和接口硬件对通信方式的支持以及通信协议中的优化措施,使并行应用的性能获得了显着的提高。本文的研究工作表明:相对于传统的机群通信系统,设计适合于软件分布式共享存储系统特点的网络通信系统可显着地改善系统的最终使用性能,使高性能、易编程的共享存储并行计算环境在机群体系结构上也能获得。

高帆,马捷,孟丹[7](2003)在《BCL/IP:机群系统域网中TCP/IP协议的实现》文中研究说明论文介绍了基于BCL机群底层通信协议的高性能TCP/IP通信(BCL/IP)在机群系统域网(SANs)中的设计与实现方法。作为曙光4000L超级服务器系统的重要组成部分,BCL/IP在充分发挥底层高效BCL协议和高速Myrinet网络性能的同时,还实现了同现有多数网络应用程序的二进制兼容。最后给出了Linux平台上BCL/IP的性能测试结果和简要分析。另外还提供了一种在对系统核心不做(或尽可能小)修改的前提下利用现有底层通信协议在机群系统域网中实现高性能TCP/IP协议的方法。

高帆[8](2003)在《机群系统中并行通信技术的研究》文中研究说明随着并行处理技术的不断发展,机群系统因其良好的性价比、卓越的可扩展性与可用性,逐渐成为当前高性能计算机领域的主流结构。在机群系统中,机间通信的性能是影响整个系统性能的关键因素,因此如何提高机群通信系统的性能一直是近年来的一个研究热点。由于SMP机群逐渐成为机群系统的主流,尤其是大结点和超结点机群的出现,在机群结点计算能力不断提高的同时也提高了对机群高速通信系统的性能要求。在传统的结点内单网卡和结点间单通路的机群网络中,由于受到网络硬件设备自身的性能限制,机群通信系统的性能成为其整体性能的瓶颈。为了突破这一限制,研究者提出了在机群结点间同时使用多条网络通路进行并行通信的解决方法。在曙光4000L超级服务器机群的通信系统中,我们引入了并行通信机制,有效的改善了系统的结点间通信的带宽性能。本文在总结前人研究成果的基础上,首先系统地研究了并行通信技术的关键问题和具有代表性的并行通信实例。随后从需求出发,提出了一种基于细粒度消息分片模式的并行通信机制,较为详细的阐述了在曙光4000L机群中该机制的设计与实现,还以此为基础对异构并行通信和消息分派机制进行了进一步的研究探讨。本文中对试验平台上测试数据的分析说明,该系统上并行通信的实现基本上达到了预期的性能目标,具有较好的通信带宽。最后,本文总结了作者的工作,提出了对当前并行通信实现进行优化与改进的方法和思路,并对未来的工作做了展望。

孙凝晖,孟丹[9](2002)在《曙光3000超级服务器设计的关键问题研究》文中研究表明曙光3000超级服务器是基于SMP机群体系结构的通用计算机系统,具有可扩展性、可用性、可管理性和高可用性的技术特点.该文着重介绍曙光3000系统设计中的若干关键问题,包括与SMP机群体系结构相关的可扩展性问题、系统软件中重要的可用性设计、底层通信的多种应用支持设计和机群管理系统的跨平台支持设计.另外还论述了超级服务器设计中存在的问题和作者的看法.

贺劲[10](2002)在《机群文件系统性能与正确性研究》文中认为计算机存储系统,特别是相对慢速的外存储系统一直是影响计算机整体性能的“瓶颈”。目前,机群系统已经逐渐成为超级计算机与超级服务器的主流结构,但外存储系统仍然是它进一步提高性能与可靠性的主要障碍。近年来,随着网络技术的飞速发展,基于机群节点间高速互连网络的机群文件系统已成为解决机群外存储系统问题的有效策略之一。然而在机群系统中,不同类型应用在文件存取性能及语义需求等方面存在较大的差异,如何为具有不同需求的应用提供足够的文件I/O性能,并保证其文件存取操作的正确执行已成为机群文件系统设计的关键问题。本文结合曙光机群文件系统DCFS的设计与实现,对如何有效提高机群文件系统性能、保证应用的正确执行方面进行了较有成效的研究,主要内容包括:以COSMOS文件系统为原型系统,研究了机群文件系统中通信子系统对整体性能的影响;研究了机群文件系统结构优化对元数据操作的性能影响;以支持MPI-IO并行计算为目标,研究了在支持客户端缓存情况下,如何实现文件系统客户端缓存一致性语义的协议。具体研究成果如下:(1)首次提出并发带宽利用率的概念,以量化的方式来评价系统整体效率与服务器外存储子系统及节点间通信机制间的关系,有助于人们更加合理地设计与部署机群文件系统。(2)提出了改善并发带宽利用率的一些策略,在基于曙光3000的机群文件系统原型中,着重研究了通信子系统对并发带宽利用率的影响。在原型系统中应用了基于Myrinet高速交换网络的精简通信协议BCL-3,性能测试的结果表明,相对于使用Ethernet网络与TCP/IP协议的系统,机群文件系统客户节点文件I/O带宽得到了显着提高,系统并发带宽利用率从40%以下提高到了90%左右。(3)提出了FPLS及FPLS+路径解析优化协议,通过调整元数据分布结构以及改进客户节点核心路径解析操作算法,来提高信息服务类应用中大量元数据存取操作性能。模拟实验结果表明,在最佳情况下,新型路径解析协议可将路径查找时间减少到普通路径解析协议所用时间的20.2%。(4)提出了一种可直接操纵文件系统客户端缓存的扩展文件锁协议。这种协议可以使机群文件系统在支持客户端缓存的情况下,能满足并行计算应用接口MPI-IO对底层文件系统的并发共享文件I/O的语义需求。与一些现有系统中的相关实现策略相比,该协议具有简单可靠的优点。

二、BCL-3: A High Performance Basic Communication Protocol for Commodity Superserver DAWNING-3000(论文开题报告)

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

三、BCL-3: A High Performance Basic Communication Protocol for Commodity Superserver DAWNING-3000(论文提纲范文)

(1)高可用MPI并行编程环境及并行程序开发方法的研究与实现(论文提纲范文)

摘要
ABSTRACT
第一章 绪论
    1.1 课题研究背景
        1.1.1 高性能计算机的作用与形式
        1.1.2 大规模并行计算机系统的发展趋势和面临的挑战
        1.1.3 大规模并行计算机系统的可用性
    1.2 相关研究工作
        1.2.1 高性能互连通信软硬件接口
        1.2.2 高性能、可扩展、容错MPI系统
        1.2.3 消息传递系统中基于检查点的回卷恢复
    1.3 本文的研究内容和创新
    1.4 论文结构
第二章 面向大规模并行计算机系统的互连通信接口
    2.1 研究背景
    2.2 CNI互连通信硬件接口
        2.2.1 通信机制
        2.2.2 结构设计
    2.3 CMEX通信软件接口
        2.3.1 设计目标
        2.3.2 总体结构
        2.3.3 关键实现技术
    2.4 性能评测
        2.4.1 测试平台
        2.4.2 测试方法
        2.4.3 测试结果
    2.5 与相关工作的对比
    2.6 CMEX通信软件接口的验证
        2.6.1 静态程序分析
        2.6.2 模型检验
    2.7 小结
第三章 高性能、可扩展MPI并行编程环境
    3.1 研究背景
        3.1.1 MPI实现相关问题
        3.1.2 MPICH2系统结构
        3.1.3 数据传输协议
        3.1.4 虚连接与消息队列
        3.1.5 通道接口
    3.2 基于RDMA的数据传输
    3.3 基于RDMA写的消息数据传输
        3.3.1 传输算法
        3.3.2 实现细节
        3.3.3 流控策略
        3.3.4 资源消耗
    3.4 基于RDMA读的消息数据传输
        3.4.1 传输算法
        3.4.2 流控策略
        3.4.3 动态反馈信用流控
    3.5 组合通道消息数据传输
        3.5.1 并行应用的近邻通信模式
        3.5.2 通道选择方法
        3.5.3 资源消耗
    3.6 性能评测
        3.6.1 测试平台
        3.6.2 测试程序
        3.6.3 通信延迟和带宽
        3.6.4 流控测试
        3.6.5 组合通道性能对比
        3.6.6 NPB应用性能
    3.7 与相关工作的对比
    3.8 小结
第四章 完全用户透明的MPI并行检查点系统
    4.1 研究背景
        4.1.1 基于检查点的回卷恢复
        4.1.2 单机检查点
        4.1.3 检查点映像文件存储
    4.2 设计思想
        4.2.1 全局一致状态
        4.2.2 并行检查点系统结构
        4.2.3 检查点操作流程
    4.3 协同协议的实现
        4.3.1 信号与临界区处理
        4.3.2 通道清空操作过程
        4.3.3 协议消息的处理
        4.3.4 通道的关闭和重建
    4.4 性能评测
        4.4.1 测试环境
        4.4.2 测试方法
        4.4.3 检查点开销
        4.4.4 回卷恢复开销
    4.5 I/O操作的优化策略
    4.6 周期性检查点
    4.7 用户主动的并行检查点
    4.8 与相关工作的对比
    4.9 小结
第五章 面向MPI程序的容错并行算法设计方法
    5.1 面向MPI并行应用的容错方法
        5.1.1 系统级容错方法
        5.1.2 用户级检查点技术
        5.1.3 Diskless检查点方法
        5.1.4 容错MPI环境
        5.1.5 针对特定应用的容错算法
        5.1.6 研究思路
    5.2 容错并行算法FTPA
        5.2.1 FTPA算法的故障模型
        5.2.2 FTPA算法设计思想和流程
        5.2.3 FTPA算法中的容错处理
        5.2.4 进程间定值—引用分析方法
        5.2.5 实例研究
        5.2.6 反映处理器失效故障的加速比
    5.3 性能评测
        5.3.1 容错印程序测试
        5.3.2 容错 FT程序测试
    5.4 小结
第六章 结束语
    6.1 工作总结
    6.2 研究展望
致谢
参考文献
作者在学期间取得的学术成果
攻读博士学位期间参加的科研项目和获奖情况

(2)广域网协议在HPC集群上的应用分析(论文提纲范文)

郑重声明
摘要
Abstract
前言
1 绪论
    1.1 背景
    1.2 本文的工作简介
2 LINUX集群简介
    2.1 LINUX简介
    2.2 集群系统
3 集群通信性能分析
    3.1 集群通信开销分析
    3.2 TCP/IP协议对集群系统网络性能的影响
    3.3 提高和改进集群通信性能的方法
    3.4 典型的通信协议机制
4 改进集群通信性能的设计
    4.1 PC集群的软硬件环境
    4.2 设计的基本框架
    4.3 低层通信的实现
    4.4 进程管理
    4.5 进程间通信
    4.6 缓冲区的管理
    4.7 MPI及其应用
5 改进HPC集群通信协议的实现
    5.1 基本设计思想
    5.2 采用选择重传机制
    5.3 数据包与选择重传包的设计
    5.4 发送和接收的具体实现过程
    5.5 进程间通信类型
    5.6 共享内存
    5.7 同步机制
6 性能测试与分析
    6.1 性能测试的方法
    6.2 关于测试结果的分析
总结
致谢
参考文献
附录

(3)面向科学计算的操作系统核心研究(论文提纲范文)

摘 要
Abstract
第一章 引言
    1.1 科学计算的特点
    1.2 提升科学计算性能的途径
    1.3 操作系统对科学计算性能的影响
    1.4 本文工作概述
第二章 曙光4000A 超级计算机简介
    2.1 曙光4000A 的背景及基本性能指标
    2.2 硬件结构
        2.2.1 基本体系结构和硬件构成
        2.2.2 Opteron 处理器
    2.3 操作系统及应用环境
    2.4 通信子系统
        2.4.1 Myrinet 高速通信网络
        2.4.2 BCL4 底层通信软件
    2.5 本章小结
第三章 科学计算性能与系统软件
    3.1 内存管理策略
        3.1.1 优化页面安置与交换策略
        3.1.2 利用超级页面提高性能
        3.1.3 内存性能优化方案
    3.2 进程调度策略
    3.3 降低系统噪声
        3.3.1 噪声的来源和影响
        3.3.2 降低Linux 系统中的噪声尝试
    3.4 其它因素的影响
    3.5 本章小结
第四章 一种Linux 内存管理优化方法的实现
    4.1 超级页面的概念
    4.2 Intel i386 和AMD x86-64 架构硬件对超级页面的支持
    4.3 在Linux 下实现用户空间中的超级页面
        4.3.1 为应用程序分配超级页面
        4.3.2 超级页面的回收与周转
    4.4 超级页面对节点间通信的意义
    4.5 本章小结
第五章 性能测试与评价
    5.1 单一内存访问性能测试
        5.1.1 测试方法说明
        5.1.2 测试结果与分析
    5.2 Myrinet 网络通信性能测试
    5.3 并行Linpack 性能测试
        5.3.1 Linpack 测试程序简介
        5.3.2 HPL 程序的通信开销分析
        5.3.3 曙光4000A 机群上的HPL 测试
    5.4 本章小结
第六章 结论和未来工作
    6.1 全文总结
    6.2 对下一步工作的展望
参考文献
致 谢
作者简历

(4)IntraGRID环境下通信机制的研究与实现(论文提纲范文)

摘要
Abstract
第一章 概述
    1.1 机群及机群通信系统
    1.2 网格及IntraGRID
    1.3 本文工作
第二章 网格及格点间互连
    2.1 网格与格点互连
        2.1.1 网格及其特征的简述
        2.1.2 计算网格及其组成部件
        2.1.3 格点间互连
    2.2 IntraGRID 及IntraGRID 通信系统
        2.2.1 IntraGRID 介绍
        2.2.2 IntraGRID 通信系统
    2.3 相关研究
        2.3.1 网格相关研究
        2.3.2 面向网格的并行计算环境的研究
        2.3.3 面向网格的底层通信协议的研究
    2.4 本章小结
第三章 Grid Gateway 及其关键问题分析
    3.1 Grid Gateway
    3.2 关键问题
        3.2.1 全局标识符
        3.2.2 通信语义
        3.2.3 流量控制
        3.2.4 多重路由机制
        3.2.5 负载平衡
    3.3 本章小结
第四章 Grid Gateway 的设计与实现
    4.1 IntraGRID 通信系统的协议接口
        4.1.1 机群内GM 通信协议
        4.1.2 机群间通信协议
        4.1.3 通信模式
    4.2 网关程序设计与实现
        4.2.1 连接管理
        4.2.2 发送线程
        4.2.3 接收线程
    4.3 本章小结
第五章 IntraGRID 通信模式及性能评价
    5.1 通信模式及测试环境
    5.2 点到点通信性能
        5.2.1 点到点带宽
        5.2.2 点到点延迟
    5.3 MPICH 通信性能
        5.3.1 单向传输性能
第六章 总结与展望
    6.1 总结
    6.2 未来工作
参考文献
致谢
作者简历

(5)高性能集群系统分析、设计与应用(论文提纲范文)

第一章 高性能计算机
    1.1 高性能计算和高性能计算机
        1.1.1 高性能计算的定义和分类
        1.1.2 高性能计算机的定义
        1.1.3 高性能计算机的需求
    1.2 高性能计算机的发展和现状
        1.2.1 高性能计算机的发展
        1.2.2 高性能计算机的现状
第二章 高性能集群系统
    2.1 集群系统
        2.1.1 集群系统的定义
        2.1.2 集群系统的优点
        2.1.3 集群系统的分类
        2.1.3.1 高可用集群
        2.1.3.2 高性能计算集群
    2.2 高性能集群体系结构与并行计算模型
        2.2.1 集群体系结构
        2.2.2 并行计算模型
    2.3 高性能集群系统的组成
        2.3.1 高性能集群系统硬件组成
        2.3.2 高性能集群系统软件组成
    2.4 高性能集群系统性能评测
第三章 高性能集群互连网络分析
    3.1 集群互连网络
        3.1.1 快速以太网
        3.1.2 Myrinet
        3.1.3 GigaNet
        3.1.4 QsNet
        3.1.5 SCI可扩展一致性接口
    3.2 系统网络性能分析比较
        3.2.1 QsNet的性能分析
        3.2.2 GigaNet和Myrinet的性能比较
        3.2.3 Myrinet和SCI的性能比较
        3.2.4 综合分析比较
第四章 高性能集群的设计
    4.1 系统设计方法和步骤
        4.1.1 判断应用的特性
        4.1.2 设计的目标
        4.1.3 确定系统规模
        4.1.4 系统结构的设计
        4.1.5 硬件系统
        4.1.6 集群控制软件
        4.1.7 提高集群性能的其它问题
    4.2 某区域气象中心高性能集群系统设计
        4.2.1 需求分析
        4.2.2 设计与实现
        4.2.3 计算网络的可靠性设计
        4.2.4 集群性能指标
    4.3 SCI集群可用性分析
第五章 高性能集群在气象并行计算中的应用
    5.1 中尺度模式MM5在集群中的计算
    5.2 通用气候模式CCM3在集群中的并行计算
    5.3 区域气候模式RegCM3在集群中的计算
参考文献
总结
致谢

(6)支持软件分布式共享存储系统的机群通信技术(论文提纲范文)

摘要
英文摘要
第一章 引言
    1.1 软件分布式共享存储系统的重要问题
        1.1.1 存储器一致性模型
        1.1.2 高速缓存一致性协议
        1.1.3 存储器组织方式
        1.1.4 共享粒度
        1.1.5 实现层次
        1.1.6 通信机制
    1.2 减小软件分布式共享存储系统中通信开销的技术
        1.2.1 基于远程内存映射通信的方法
        1.2.2 基于专用硬件支持的方法
        1.2.3 两种方法的比较
    1.3 机群通信技术简介
        1.3.1 机群高速互连网络
        1.3.2 用户级通信协议
    1.4 本文的贡献
    1.5 论文的组织形式
第二章 软件分布式共享存储系统的通信行为
    2.1 引言
    2.2 共享存储并行应用的特点
        2.2.1 共享模式
        2.2.2 访问粒度
        2.2.3 同步方式
        2.2.4 共享存储并行应用的分类
    2.3 基于锁的高速缓存一致性协议
        2.3.1 基本协议
        2.3.2 消息类型
        2.3.3 协议中的通信过程
    2.4 影响软件分布式共享存储并行应用性能的通信行为
        2.4.1 通信粒度
        2.4.2 并发通信
        2.4.3 接口竞争
    2.5 软件分布式共享存储系统对通信的需求
        2.5.1 延迟和带宽需求
        2.5.2 通信模型需求
        2.5.3 并发通信支持和接口竞争避免
    2.6 小结
第三章 软件分布式共享存储系统在高性能通信系统上的性能
    3.1 引言
    3.2 机群互连网络MYINET、SCI 和快速以太网介绍
        3.2.1 Myrinet 互连网络
        3.2.2 SCI 互连网络
        3.2.3 快速以太网
    3.3 用户级通信协议BCL-3、SISCI 和M-VIA
        3.3.1 曙光3000 高性能通信库BCL-3 简介
        3.3.2 SCI 上的用户级通信库SISCI
        3.3.3 以太网上的VIA 系统M-VIA
    3.4 高性能通信系统上JIAJIA 软件DSM 系统的实现
        3.4.1 通信需求
        3.4.2 程序结构
        3.4.3 实现考虑
    3.5 不同通信系统上的性能比较
        3.5.1 测试环境
        3.5.2 通信系统的基础性能比较
        3.5.3 软件分布式共享存储系统性能比较
    3.6 小结
第四章 支持快速远程直接内存访问和消息传递的机群通信系统
    4.1 主要设计思想
    4.2 交换机设计
        4.2.1 链路帧格式
        4.2.2 交换机和网络接口的链路和工作时序
        4.2.3 交换机的结构
        4.2.4 具体实现
    4.3 网络接口设计
        4.3.1 网络接口结构
        4.3.2 通信描述符格式
        4.3.3 消息传递工作原理
        4.3.4 远程直接内存访问工作原理
        4.3.5 具体实现
    4.4 通信协议设计
        4.4.1 地址映射
        4.4.2 主要数据结构
        4.4.3 内核扩展
        4.4.4 用户接口
    4.5 通信系统性能
        4.5.1 测试环境
        4.5.2 消息传递性能
        4.5.3 远程直接内存访问性能
    4.6 小结
第五章 新型机群通信系统上软件分布式共享存储系统的实现与性能分析
    5.1 新型机群通信系统对软件分布式共享存储系统的支持
        5.1.1 减小消息延迟
        5.1.2 远程直接取页支持
        5.1.3 并发通信和接口竞争缓解
    5.2 远程直接取页对一致性协议的影响
        5.2.1 home 和Cache 的锁定
        5.2.2 Cache 的冒险与避免
        5.2.3 一致性协议的优化措施
    5.3 基于远程直接取页通信的软件分布式共享存储系统的实现
        5.3.1 消息处理流程
        5.3.2 SIGSEGV 中断处理
        5.3.3 接收繁忙中断处理
        5.3.4 TLB 不命中处理
    5.4 性能比较
        5.4.1 性能测试与比较环境
        5.4.2 与其他高性能系统实现的性能比较
        5.4.3 与不采用直接远程取页实现性能的比较
    5.5 影响系统性能的因素
        5.5.1 内存锁定对性能的影响
        5.5.2 协议优化的讨论
        5.5.3 TLB 不命中的影响
    5.6 小结
第六章 基于可扩展一致性接口互连机群的共享存储系统
    6.1 SCI 互连机群系统上的共享存储系统的实现策略
        6.1.1 利用SCI 构造高速消息传递机制实现SVM
        6.1.2 利用SCI 的远程内存访问功能直接维护一致性数据实现SVM
        6.1.3 利用SCI 硬件DSM 实现SVM
        6.1.4 基于SCI 的SVM 系统实现更高级的编程抽象
    6.2 PC 机群系统中基于SCI 实现共享存储系统的关键问题
        6.2.1 共享的程度和存储器的组织方式
        6.2.2 存储器一致性模型
        6.2.3 结点处理器的体系结构
        6.2.4 同步操作
        6.2.5 消息传递需求
    6.3 基于SCI 硬件DSM 支持的SVM 系统设计
        6.3.1 存储器组织和地址映射
        6.3.2 存储器一致性模型
        6.3.3 高速缓存一致性协议
        6.3.4 消息类型和消息通信
    6.4 目前的进展和今后的工作
第七章 结论
参考文献
致谢
作者简历

(8)机群系统中并行通信技术的研究(论文提纲范文)

摘要
英文摘要
第一章 引言
第二章 机群与机群通信系统
    2.1 可扩展并行计算机体系结构之分类与发展方向
    2.2 机群系统特征与发展趋势
        2.2.1 定义
        2.2.2 特征
        2.2.3 分类
        2.2.4 发展趋势
    2.3 机群系统典型实例
        2.3.1 Berkeley 的NOW 项目
        2.3.2 UIUC 的高性能虚拟机(HPVM)项目
        2.3.3 NASA Goddard Space Flight Center 的Beowulf 项目
        2.3.4 RWCP 的Score Cluster 项目
        2.3.5 中科院计算所智能中心的曙光4000L 超级服务器系统
    2.4 机群通信系统定义及其技术特点
        2.4.1 定义
        2.4.2 结构
        2.4.3 特点
    2.5 机群通信系统实例及其发展
        2.5.1 VMMC
        2.5.2 U-net
        2.5.3 AM 和AM-II
        2.5.4 GM
        2.5.5 BIP 和BIP-SMP
        2.5.6 PM 和PM2
        2.5.7 BCL
    2.6 机群通信系统基本评价方法
    2.7 本章小结
第三章 并行通信技术
    3.1 并行通信可行性分析
    3.2 并行通信实例简介
        3.2.1 ASNT 项目
        3.2.2 IEEE802.3ad 链路聚集标准
        3.2.3 Beowulf Ethernet Channel Bonding 技术
        3.2.4 Network Trunking 技术
        3.2.5 PODOS 系统
        3.2.6 Multirail 网络
    3.3 并行通信分类
    3.4 并行通信关键问题
        3.4.1 消息同步
        3.4.2 消息保序
        3.4.3 通路负载平衡
        3.4.4 消息分片的粒度选择
        3.4.5 消息分派的路由选择
        3.4.6 异构并行通信
        3.4.7 并行通信可用性
    3.5 并行通信性能评价
        3.5.1 分片/分派效果(Effect of Striping/Dispatching)
        3.5.2 结点可扩展性(Node Scalability)
        3.5.3 并行通路可扩展性(Rail Scalability)
        3.5.4 并行通路负载均衡(Workload Balance among Rails)
        3.5.5 并行通信可用性(Availability)
    3.6 本章小结
第四章 同构并行通信及其在曙光4000L 上的实现
    4.1 曙光4000L 超级服务器
        4.1.1 体系结构
        4.1.2 硬件系统
        4.1.3 软件结构
    4.2 BCL-4 底层通信系统
        4.2.1 Myrinet 高性能机群网络
        4.2.2 BCL-4 特点
        4.2.3 BCL-4 结构
        4.2.4 BCL-4 基本通信机制
    4.3 BCL-4 并行通信基本模式的选择
        4.3.1 基于路由的多网卡通信并行模式
        4.3.2 基于发送/接收的多网卡并行通信模式
        4.3.3 基于端口的多网卡并行通信模式
        4.3.4 基于细粒度数据分片机制的同构并行通信模式
    4.4 BCL-4 并行通信设计中的关键问题
        4.4.1 并行通路的基本使用规则
        4.4.2 并行通信控制模块的实现位置
        4.4.3 对不同类型消息的处理方式
        4.4.4 消息分片的粒度选择
        4.4.5 消息分片与组合方法
        4.4.6 消息并行传递的基本策略
        4.4.7 数据同步方法
        4.4.8 消息保序方法
        4.4.9 通路负载平衡
        4.4.10 路由选择问题
        4.4.11 小结
    4.5 BCL-4 并行通信的实现
        4.5.1 BCL-4 网络设备拓扑结构
        4.5.2 消息分片的实现方法
        4.5.3 并行通信的基本流程
        4.5.4 控制网卡的选择算法
        4.5.5 并行通信的事件探询算法
    4.6 BCL-4 并行通信的特点
        4.6.1 可扩展性
        4.6.2 可靠性
        4.6.3 可移植性
        4.6.4 并行效率
    4.7 本章小结
第五章 异构并行通信与消息分派方式的引入
    5.1 异构并行通信
        5.1.1 引入
        5.1.2 异构通路间的负载分配
        5.1.3 异构通路间不均衡负载分配的实现
        5.1.4 该实现方法的局限
    5.2 消息分派方式
        5.2.1 设计原理
        5.2.2 基本特点
        5.2.3 实现方法
    5.3 本章小结
第六章 性能测试与分析
    6.1 测试环境
    6.2 点到点通信性能
        6.2.1 基本测试方法
        6.2.2 并行通信基本模块(消息分片方式)性能
        6.2.3 消息分派方式并行通信性能
        6.2.4 异构并行通信性能
    6.3 均衡通信性能
        6.3.1 同步延迟(Barrier)
        6.3.2 广播带宽(Broadcast)
        6.3.3 全交叉带宽(All to All)
    6.4 分析与评价
    6.5 本章小结
第七章 结论与下一步工作
    7.1 结论
    7.2 下一步工作
参考文献
作者简历

(9)曙光3000超级服务器设计的关键问题研究(论文提纲范文)

1 引言
2 可扩展性设计关键问题
    2.1 通信可扩展性
    2.2 编程模型可扩展性
    2.3 互连可扩展性
3 可用性设计关键问题
    3.1 资源管理可用性
    3.2 机群文件系统可用性
    3.3 多机应用可用性
4 通信的多应用支持
5 机群系统管理的多平台支持
6 结论和未来的工作

(10)机群文件系统性能与正确性研究(论文提纲范文)

独创性声明
关于论文使用授权的说明
摘 要
ABSTRACT
第一章 引言
    1.1 外存储系统面临的挑战
        1.1.1 日益增长的数据量
        1.1.2 数据安全面临的威胁
    1.2 外存储系统技术进展
        1.2.1 磁盘技术
        1.2.2 磁盘阵列技术
        1.2.3 外部设备接口技术
    1.3 网络技术进展
        1.3.1 Gigabit 以太网
        1.3.2 VIA
        1.3.3 Infiniband
    1.4 网络存储技术
        1.4.1 网络存储分类
        1.4.2 NAS 网络连接存储系统
        1.4.3 SAN 存储区域网
        1.4.4 基于IP 的块设备存储
        1.4.5 混合结构的网络文件系统
    1.5 网络文件系统
        1.5.1 网络文件系统分类
        1.5.2 典型网络文件系统
        1.5.3 几种新出现的网络文件系统结构
    1.6 本文内容组织
第二章 文件系统节点间通信机制研究
    2.1 系统设计与实现
        2.1.1 COSMOS 系统
        2.1.2 BCL-3 高速通信协议
        2.1.3 基于BCL-3 的COSMOS 实现
    2.2 性能模型
        2.2.1 并发带宽利用率
        2.2.2 网络磁盘分组方式
        2.2.3 非网络磁盘分组方式
    2.3 性能测试
        2.3.1 实验平台及方法
        2.3.2 性能分析
    2.4 本章小结
第三章 文件系统元数据服务研究
    3.1 分布文件系统结构
    3.2 分布文件系统的元数据存取
        3.2.1 元数据定义
        3.2.2 优化元数据处理性能意义
    3.3 元数据存取关键路径分析
        3.3.1 VFS 层与Lookup 原理
        3.3.2 VFS 层Lookup 策略缺陷
    3.4 普通LOOKUP 操作优化策略
        3.4.1 名字解析缓存
        3.4.2 独立的元数据服务器
        3.4.3 绕开VFS 层限制
        3.4.4 通信网络性能优化
    3.5 FPLS——基于目录子树的路径解析优化
        3.5.1 基本策略
        3.5.2 Lookup 缓存策略
    3.6 元数据缓存服务器结构
        3.6.1 FPLS 策略中的负载平衡
        3.6.2 FPLS+ : 改进的FPLS 结构
    3.7 性能模型
        3.7.1 FPLS .vs. NFS
        3.7.2 FPLS+ .vs. FPLS
    3.8 仿真性能比较
    3.9 本章小结
第四章 文件系统一致性语义研究
    4.1 文件系统缓存
        4.1.1 计算机存储层次结构
        4.1.2 网络文件系统缓存
        4.1.3 文件共享语义
        4.1.4 文件缓存实现
        4.1.5 文件写策略
        4.1.6 文件缓存有效性验证
        4.1.7 文件缓存粒度
    4.2 严格UNIX 语义的FILELOCK-BASED 实现
        4.2.1 基于消息传递的文件接口MPI-IO
        4.2.2 MPI-IO 的底层文件系统语义需求
        4.2.3 基于显式文件锁接口的顺序一致语义实现
    4.3 面向应用的一致性语义
        4.3.1 局部系统中的网络文件系统一致性
        4.3.2 广域系统中的网络文件系统一致性
        4.3.3 一致性语义参数组
        4.3.4 一致性协议的参量化表示
        4.3.5 动态可调整一致性
        4.3.6 相关研究
    4.4 本章小结
第五章 DCFS 设计与实现
    5.1 曙光超级服务器
        5.1.1 曙光超级服务器体系结构
    5.2 NCIC 的分布文件系统研究
        5.2.1 D2K-COSMOS 分布文件系统
        5.2.2 D3K-COSMOS 分布文件系统
    5.3 DCFS 设计目标与总体结构
        5.3.1 DCFS 设计目标
        5.3.2 系统组成
        5.3.3 使用方式
    5.4 DCFS 功能模块
    5.5 DCFS 协议层
        5.5.1 DCFS 文件协议层
        5.5.2 DCFS 配置管理协议层
        5.5.3 DCFS 高可用协议层
        5.5.4 DCFS 通信协议层
    5.6 DCFS 性能测试数据
    5.7 本章小结
第六章 结论
    6.1 本文工作与结论
        6.1.1 性能优化技术
        6.1.2 正确性保证
    6.2 进一步的工作
        6.2.1 可定制的网络文件系统
        6.2.2 基于策略的存储管理
参考文献
致 谢
作者简历

四、BCL-3: A High Performance Basic Communication Protocol for Commodity Superserver DAWNING-3000(论文参考文献)

  • [1]高可用MPI并行编程环境及并行程序开发方法的研究与实现[D]. 谢旻. 国防科学技术大学, 2007(07)
  • [2]广域网协议在HPC集群上的应用分析[D]. 赵少林. 郑州大学, 2005(08)
  • [3]面向科学计算的操作系统核心研究[D]. 陈曜. 中国科学院研究生院(计算技术研究所), 2005(02)
  • [4]IntraGRID环境下通信机制的研究与实现[D]. 崔伟. 中国科学院研究生院(计算技术研究所), 2004(02)
  • [5]高性能集群系统分析、设计与应用[D]. 田俊刚. 西北工业大学, 2004(03)
  • [6]支持软件分布式共享存储系统的机群通信技术[D]. 史岗. 中国科学院研究生院(计算技术研究所), 2004(02)
  • [7]BCL/IP:机群系统域网中TCP/IP协议的实现[J]. 高帆,马捷,孟丹. 计算机工程与应用, 2003(34)
  • [8]机群系统中并行通信技术的研究[D]. 高帆. 中国科学院研究生院(计算技术研究所), 2003(02)
  • [9]曙光3000超级服务器设计的关键问题研究[J]. 孙凝晖,孟丹. 计算机学报, 2002(11)
  • [10]机群文件系统性能与正确性研究[D]. 贺劲. 中国科学院研究生院(计算技术研究所), 2002(02)

标签:;  ;  ;  ;  ;  

BCL-3:商品超级服务器DAWNING-3000的高性能基础通信协议
下载Doc文档

猜你喜欢