本书是并行计算系列从书之四,旨在介绍并行算法的具体编程实现以及与其相关的并行程序设计基础。
本书从内容安排上分力上篇和下篇。其中,上篇介绍并行程序设计导论,主要包括并行程序设计基础(并行计算机系统与结构模型、PC机群搭建和并行程序设计简介等);并行程序编程指南(MPI、PVM HPF和OpenMP等)和并行程序开发方法(可视化并行程序设计环境、并行程序调试和并行程序性能分析及优化等)。下篇介绍并行算法编程实现,主要包括非数值并行算法(排序、串匹配、图论、组合优化和计算儿何等)及其MPI编程实现和数值计算并行算法(矩阵运算、线性方程组求解、矩阵特征值计算和傅氏及小波变换等)及其MPI编程实现。
书中内容精炼、实用,体现了并行算法的设计与实现相结合,可作为高等学校计算机及相关专业的本科高年级学生和研究生的教材,其中上篇和下篇也可分别作为“并行程序设计导论”和“并行算法编程指南”单独使用。本书也可供从事并行程序设计及其实现的科技人员参考阅读。

上篇 并行程序设计导论
单元 Ⅰ 并行程序设计基础
**章 并行计算机系统与结构模型
1.1 典型并行计算机系统简介
1.1.1 阵列处理机
按照Flynn的分类法,阵列处理机(或称阵列机)属于SIMD(Single Instruction Multiple Data,单指令多数据流机)并行机,其名称反映出它是由多台处理器(即处理单元PE,Processing Element)摆成阵列的拓扑结构,利用资源重复的方法开拓并行性。曲于单一的指令运行在大型规则的数据结构(如数组和矩阵等)上,使阵列处理机也常叫做数据并行结构(Data Parallel Architecture)。下面依次讨论它的基本结构、主要特点以及典型的阵列机Illiac-IV。
1.阵列机的基本结构
阵列机通常由一个控制单元CU(Control Unit)、n个处理单元PE、m个存储模块M和一个互连网络IN(Interconnection Network)组成。CU将单一指令(单指令流)播送至各个PE,而所有活动的PE将从相应的M中取出各自所需的数据元素(多数据流),以同步的方式执行该条指令。在阵列机中,IN常常是实现置换(Permutation)的网络,它用来提供各PE之间或PE与M之间的通信连接。按照存储模块的分布方式不同,阵列机可分为两种基本组态:分布存储的阵列机和共享存储的阵列机,它们分别对应图(a)所示的处理器一处理器组态(也称为闺房式)和图(b)所示的处理器一存储器组态(也称为舞厅式)。在分布存储的阵列机中,只要数据分配得当,各PE将从各自的局存M;中获得所需要的数据;CU中除了存放系统程序和用户程序外,也可以存放各个PE所需共享的数据。不管哪种结构,对于标量型指令,CU中的运算部件可直接执行;对于向量型指令,它就将此指令播送给各个PE同步执行。共享存储的阵列机结构中,PE没有局存,存储模块以集中形式为所有PE共享,当两个需要交换数据的PE之间无共享存储单元时,就需要经过多次传输方可实现交换。
……

上篇 并行程序设计导论
单元 Ⅰ 并行程序设计基础
**章 并行计算机系统与结构模型
第二章 PC机群的搭建
第三章 并行程序设计简介
单元Ⅱ 并行程序编程指南
第四章 MPI编程指南
第五章 PVM编程指南
第六章 HPF编程指南
第七章 PpenMP编程指南
单元Ⅲ 并行程序开发方法
第八章 可视化并行程序设计环境
第九章 并行程序的调试
第十章 并行程序的性能分析
第十一章 并行程序的性能优化
第十二章 图形化并行程序集成开发环境
下篇 并行算法编程实现
单元Ⅳ 非数值并行算法MPI编程实现
第十三章 排序
第十四章 串匹配
第十五章 图论
第十六章 组合优化
第十七章 计算几何
单元Ⅴ 数值并行算法MPI编程实现
第十八章 矩阵运算
第十九章 线性议程组的直接解法
第二十章 线性议程组的迭代解法
第二十一章 矩阵特征值计算
第二十二章 快速傅氏变换和离散小波变换
单元V习题
算法索引
MPI源程序清单
专业术语中英文对照及索引

本套系列丛书中的《并行算法的设计与分析》,《并行计算机体系结构》和《并行算法实践》构成了并行计算三部曲,而《并行计算——结构•算法•编程》为三部曲之序曲。
《并行计算——结构•算法•编程》以并行计算为主题,主要讨论了并行计算的硬件平台(并行计算机)、并行计算的理论基础(并行算法)和并行计算的软件支撑(并行_程序设计),强调融并行计算机结构、并行算法设计和并行编程为一体,书中内容具有相当的广度。
《并行算法的设计与分析(修订版)》以并行计算模型为主线,系统深入地讨论了计算机科学中诸多常用的数值和非数值计算问题的并行算法设计和分析方法,同时也力图反映本学科的*新成就和发展趋势,书中内容具有相当的深度。
《并行计算机体系结构》以当代可扩放并行计算机系统结构为主题,着重讨论对称多处理机、大规模并行处理机、机群系统和分布共享存储多处理机系统的组成原理、结构特性?设计方法、性能分析以及相应系统实例,书中内容强调了软件与硬件相结合。
《并行算法实践》以并行算法编程实现为主题,详细介绍了并行程序设计的有关内容,以及典型的非数值并行算法和数值并行算法的MPI编程实现过程,书中内容体现了算法设计与实现相结合。