网格计算发展综述-王刚.pdf
网格计算发展综述-王刚.pdf
报告人：王刚 网格概念 网格计算的本质和特点 网格家族 网格当前的国内外研究现状 网格的未来发展趋势 网格技术起源于20世纪90年代初由美国政府资 助的分布式超级计算项目I-WAY。网格这一术语 的思想则源于日常生活中公共设施的应用，伊 恩·福斯特出版的著作中最早将它称之为“网 格”。 网格是一种新技术，它具有新技术的两个主要特征： 其一，不同群体使用不同的名词来称谓； 其二，网格的精确含义和内容还没有固定，仍在不 断变化。 网格思想的来源 网格是借鉴电力网的概念提出的。提出网 格的目的就是能够使得人们在使用网格资源 的时候，能够像使用电力资源一样，自由使 用，而不用关心我现在使用的电力资源是水 力发电的还是核电，或是从哪个发电厂得 。 网格也希望给最终用户提供的是与地理位置 无关，与具体的计算设施无关的通用的计算 能力。 电力网和网格组成对比 人们对网格的界定大致可分为两种，即狭义和 广义的“网格观”。狭义的网格观是以美国阿冈 纳国家实验室的资深科学家、Globus项目的领 导人Ian Foster为代表。2002年7月，Ian Foster在 《What is the Grid？A Three Point Checklist》 中，认为网格必须同时满足以下三个条件： （1）在非集中控制的环境中协同使用资源； （2）使用标准的、开放的和通用的协议和接口； （3）提供非平凡的服务； 广义定义： 网格是一个集成的计算与资源环境，或者说是 一个计算资源池。网格能够充分吸纳各种计算资 源，并将它们转化成一种随处可得的、可靠的、 标准的同时还是经济的计算能力。这里的资源除 了各种类型的计算机，还包括网络通信能力、数 据资料、仪器设备、甚至是人等各种相关的资源。 狭义定义： 狭义网格中网络资源主要是指分布的计算机资 源，因而狭义网格一般被称作为计算网格，即主 要用于解决科学与工程计算问题的网格。 网格计算是网格发展的第一阶段，它以共享 计算资源为目的，为用户提供聚合的超级计 算能力。网格计算（Grid Computing）是分 布式高性能计算的发展产物。传统的以超级 计算机为中心的计算模式存在明显的不足， 因为造价高，阻碍了它进入普通人的工作领 域，而网格计算正是在这种需求背景下诞生 的一个新技术。 Ian Foster给网格计算下的定义是：网格计算是 动态多机构虚拟组织中的一个协调的共享资源 和解决问题的过程。因此基于网格的问题求解 就是网格计算。 网格和网的概念是相对抽象的，而且是广义的 定格计算义。狭义网格定义中的网格资源主要 是指分布的计算机资源，而网格计算就是指将 分布的计算机组织起来协同解决复杂的科学与 工程计算问题。狭义的网格一般被称为计算网 格(Computational Grid)，即主要用于解决科学 与工程计算问题的网格。 网格计算的目的是，通过任何一台计算机都 可以提供无限的计算能力，可以接入浩如烟 海的信息。这种环境将能够使各企业解决以 前难以处理的问题，最有效地使用他们的系 统，满足客户要求并降低他们计算机资源的 拥有和管理总成本。 网格的本质不是他的规模，二是充分利用互联 网络中现有软件资源，支持广域环境上的计算、 数据、存储、信息和知识资源的共享、互通与 互用， 网格的目标是将地理上分布的、系统上异构的 多种计算资源通过高速网络连接起来，协同解 决大型应用问题，进行广域信息资源的分布共 享，最终把整个因特网整合成一台超级虚拟计 算机网格概念的精髓包括：网格首先是指跨管 理域的资源集合体，然后是指基于这些资源的 协同问题求解技术。实现网格资源的协同应用 求解，涉及信息领域的诸多技术如并行计算技 术、分布计算技术、知识工程、数据挖掘信心 安全和软件代理等。 目前，关于网格计算的研究和实验得到世界 各国政府和科研机构的高度重视和大力支持。 网格计算不仅在学术界、研究领域进行着深 入的研究与实验，同时也得到了来自产业界 诸如IBM、HP、Microsoft、NTT、Intel、 SGI和Sun等各大公司的巨资支持与商业应 用开发。网格技术发展的今天，可以划分为 三个阶段： 萌芽阶段：在90年代早期，主要是千兆网的测 试床，以及一些元计算的实验； 早期实验阶段：在90年代中期到后期，比如IWAY项目，还包括一些学术性的软件项目， 比如，Globus，Legion，还有一些应用实验； 迅速发展阶段：2002年以来，出现了大量的应 用社团和项目，主要基础设施的开发的使用， 工业对网格计算的兴趣在增长等，比如IBM， Platfrom，Microsoft，Sun，Compaq等重要的 公司； 网格被誉为继互联网和Web之后的第三次信息 技术浪潮。它是利用现有互联网的架构，把地 理上广泛分布的各种资源，包括计算资源、存 储资源、带宽资源、软件资源、数据资源、信 息资源、知识资源等整合成一个逻辑整体—— 台虚拟的超级计算机，它能够为用户提供一体 化的信息和计算、存储、访问等应用服务，虚 拟的组织最终实现在这个虚拟环境下进行资源 共享和协同工作，彻底消除资源“孤岛”。 根据当前国内外对网格技术的研究状况,从研究 的侧重点上,网格家族的主要成员有:计算网格, 拾遗网格,数据网格,信息网格,P2P,智能代理， CDN,Web服务,语义网,本体论,SDN,e-Service, e-Science和RTEC等. 上图列出了网格家族的几个主要成员,这些 网格成员之间有一定的关联性,并没有严格 的界限,并且网格常常有可能是其中两种或 多种类型的组合体.当用户考虑在网格环境 上开发应用时,首先需要选择合适的网格环 境,构建合适种类的应用框架和制定合适的 应用决策,然后才能在网格环境中运行应用 程序. 美国网格技术研究发展现状 从计算机问世开始，美国在信息技术领域 就一直处于世界领先地位。为了保持这种领 先地位，从20世纪90年代中期开始，美国自 然科学基金会、NASA等组织、部门以及美国 军方都相继投入大量资金用于各自领域内的 网格研究项目。到目前为止美国政府用于网 格技术基础研究经费已达5亿美元。 NPACI Grid NPACI（National Partnerships for Advanced Computational Infrastructure）Grid是由美国自然科 学基金会（NSF）资助的网格研究项目。目的是建 立一个能够满足NPACI科学计算需求的先进计算机 体系。 NPACI Grid由一系列分布于各个资源站点 的硬件资源、软件资源、网络资源及数据资源构成。 这些站点主要包括圣地亚哥超级计算中心（San Diego Supercomputer Center，SDSC），德克萨斯 先进计算中心（Texas Advanced Computing Center，TACC）及密歇根大学（University of Michigan）。 TeraGrid TeraGrid项目于2001年8月由美国NSF支持启动， 旨在构建全球范围最广、功能最全面、支持开放 式科学研究的分布式网格计算体系。该体系将能 够使全美国成千上万的科学家通过全球最快的研 究网络共享计算资源。到2004年为止，TeraGrid 将能够向用户提供20TeraFlop（万亿次浮点运算/ 秒）的计算能力，1PetaByte）的数据存储能力， 高分辨率的可视化环境，以及一系列支持网格计 算的软件工具包。TeraGrid的所有资源将通过一 个具有40Gigabits/s交换能力的网络相连。 IPG IPG（Information Power Grid）是由美国宇航管 理局NASA支持的网格研究项目。它是一个高 性能的计算网格，网格用户可以通过IPG中间 件从任何地点访问广泛分布的异构的各种资 源，NASA内部的科学家和工程师都可以成为 IPG的用户。IPG的总设计师W.E.Johnston认为： “计算与数据网格将成为21世纪科学研究的基 础设施，因为它将能够向用户提供广泛分布的 计算资源、数据资源以及人力资源。” GIG 全球信息网格（Global Information Grid， GIG）是目前美国军方正规划实施的一个宏大 网格计划。它是美军2010网络中心战（Net Centric Warfare，NCW）计划的基础性研究项 目，旨在建立一个以成熟的商业技术为基础的 真正分布式的运行与传送系统。2003年5月， 美国发布了国防部网络中心数据策略文件 （DOD Net-Centric Data strategy），该策略文 件主要介绍了GIG信息共享的构想，并提出了7 个数据目标（数据可视、可访问、数据管理 制度化、可理解、可信任、可操作、可响应 用户需求）以及各自的实现方法。该计划预 计在2020年完成，作为这个计划的一部分， 美国海军和海军陆战队已经启动了一个耗资 160亿美元历时8年的项目，包括系统的研究、 建设、维护和升级。 Globus Globus是目前全球最有影响的网格研究计划 之一，主要项目成员有美国阿贡国家实验室、 芝加哥大学、南加州大学。IBM公司现在也参 与其中。其主要研究任务分4个方面：网格基 础理论和关键技术研究；软件及工具的开发； 试验平台的建立；网格应用的开发。根据 Globus的观点，在网格计算环境下，所有可用 于共享的主体都是资源，如计算机、高性能网 络设备、昂贵的仪器、大容量的存储设备、各 种科学数据、各种软件等是资源，分布式 文件系统、数据库缓冲池等也可以理解为资 源。实际上，只要在网格计算环境中对用户 存在利用价值的东西都可理解为资源。 Globus实际上关心的不是资源的实体本身， 而是如何把资源安全、有效、方便地提供给 用户使用。所以从共享的角度考虑，Globus 将主要研究重点放在了资源的访问接口或访 问界面上。目前，Globus把在商业计算领域 中的Web Service技术融合进来，希望能够 对各种商业应用提供广泛的、基础性的网格 环境支持，实现更方便的信息共享和互操作。 欧洲 欧洲方面，DataGrid是在欧盟资助下由欧洲 原子能研究机构CERN实施的一个项目，旨在 通过连接广泛分布的科学资源建立支持数据密 集型计算（Data Intensive Computing）应用的 下一代计算平台。根据CERN的设计思路， DataGrid的目标是处理2005年建成的大型强子 对撞机源源不断产生的PB/s量级实验数据。这 些原始数据经过在线系统过滤后，并经具有 20Teraflop处理能力的离线处理场的处理，最 终以大约100MB/s的速率写入磁带，这个 100MB/s就是DataGrid真正需要处理的数据速 率。CERN计算机中心负责将这些数据通过高 速网络分配给欧洲、北美、日本等国的区域中 心，后者再将任务作进一步分解，到物理学家 的桌面时，数据量只有1MB/s，已经可以很方 便地进行处理了。 另外，英国政府已投资1亿英镑，研制“英国 国家网格”（UK National Grid）。法国启动 的国家网格计划，前3年计划的经费投入是 1000万美元。荷兰国家网格计算计划将使5 个大学的研究人员能够更有效地在生物信息 到粒子物理等科研项目方面进行合作。这一 网格计算计划包含5台Linux群集系统（每个 大学各一台），通过荷兰大学的高性能网— —SURFNet连接在一起。 在我国,已经完成的网格研究项目主要有清 华大学的先进计算基础设施ACI(Advanced Computational Infrastructure)和以中科院计算 为主的国家高性能计算环境NHPCE(National High Performance Computing Environment)。 中国目前在研的主要有五个网格项目:国家 网格(科技部)CNGrid;中国教育科研网格计 划China-Grid(教育部);E-Science网格研究计 划(国家基金委);上海交通信息网格;中国空 间信息网格。 国家网格(CNGrid):国家863计划重大专项,历时4年, 国家投入一亿人民币,地方政府、应用承担单位和工 业界配套2~3倍的经费,是NHPCE的第二个阶段； 中国教育科研网格计划(ChinaGrid)的总体目标:充分 利用教育科研网和高校的大量计算资源和信息资源, 开发相应的网格软件,配合网络计算机(NC)的使用,将 分布在教育与科研网上自制的分布异构的海量信息 资源集成起来,形成高水平低成本的计算机服务平台, 将高性能计算送到教育与科研网用户的桌面上,成为 国家教学科研服务的大平台。 中国空间信息网格:由国家863计划在2001~2005期间 完成,主要致力于知识获取和处理,项目内容包括建立 空间信息资源和统一的空间信息管理和处理平台。 另外,全国还有几十所大学和研究机构已经开展各种 网格研究。 国外的研究机构和涉及的网格项目 美国的NASA的IPG项目； 美国能源部和三个国家重点实验室Sandia， Linvermore，LosAlamos共同承担的ASCI计划； 美国军方的GIG项目； 日本的Ninf项目； NCSA的NTG和STARTAP项目以及后续的iGrid项目； 商业的P2P工作组，Avaki，Entropia，Gridware，InSors。 国内的研究机构和涉及的网格项目 中科院牵头的“国家高性能计算环境(NHPCE)”； 清华大学牵头的由教育部支持的重点项目“先进计算基 础设施北京上海试点工程”； 2002年863信息领域高性能计算机及其核心软件项目 随着网格技术研究的深入,网格技术的发展趋势 将具备以下特征: (1)统一标准化。正如其它技术一样,随着技术发 展的日臻成熟完善,必然要求业界遵循统一的技 术标准。就像Internet系统应用的TCP/IP协议一 样。实质上,近年来,Globus Toolkit已经成为网 格标准的基础。 (2)多技术集成化。网格是在应用层的互联,可以 调度、运用的资源包括互联网中的所有资源。 这些资源将利用各种技术实现,所以网格技术必 须填补异构平台之间的差异为己任。这就要求 网格技术实现多技术集成化。 (3)广泛大型化。虽然网格的根本特征是资源共享和 分布协同工作,但是伴随着网格技术的发展成熟,用 户将不再满足于地区性的网格,行业性的网格。这势 必要求构造可以广泛应用于各个领域的大型化网格, 以满足不同用户的不同需求。不妨设想一下运用前 所未闻的计算能力所能完成的工作,我们都会明白, 构建全球网格的前景几乎是无法抗拒的。 (4)信息服务综合化。如何构建、管理、维护和运营 这种能够按需提供服务的基础设施,如何在这个平台 上开发应用,成为网格服务和产业发展的关键。在这 样一个环境下,结合软件和计算机硬件的系统综合服 务提供商必将浮出水面,并在网格产业的发展上起到 关键作用。 （5）目前，国外的研究集中在计算网格、 数据网格、商业网格(Web Service)三个方面, 但在信息网格、知识网格方面工作很少。面 向企业集成、支持服务连接、管理、集成优 化和运行的服务网格将成为商业网格系统的 一个重要发展方向,但目前在这方面的研究 几乎处于空白。 (6)网格技术发展必将走上类似因特网的开放 标准路线,但是目前的研究重点都放在了网格 软件技术的应用和实现上,缺乏统一的开放标 准作指导。人们需要建立一个具有开放的体系 结构、标准和协议,以形成信息获取、传输、 访问、共享和处理的单一开放的信息处理基础 设施平台。 (7)网格操作系统(即网格中间件系统)还不完善。 网格系统软件是网格研究界投入最多的领域。 但目前它仍有很多不完善的地方。比如:网格文 件系统几乎空白(除微软Yukon计划之外);网格 资源定位仍然难解;网格用户身份(ID)尚无定论。 所以应该构建一个类似操作系统的管理平台,为 网格和多种技术的结合,为应用利用网络资源提 供支持。 Ian Foster and Carl Kesselman, The Gird: Blueprint for a New Computing Infrastructure. 网格计算，清华大学出版社 W. Allcock, J. Bresnahan, I. Foster, L. Liming, J. Link, P.Plaszczac. GridFTP Update, Technical Report. January 2002. Leigh, J., Johnson, A. and DeFanti, T.A. CAVERN:A Distributer Architecture for Supportin Scalable Persistence and Interoperability in Collaborative Virtual Environments. Virtual Reality: Research, Development and Applications, 2(2).217-237,1997 I. Foster, A. Roy, V.Sander, L.Winkler. End-to-End Quality of Service for High-End Applications. Technical Report I. Foster, C. Kesselman, C. Lee, R. Lindell, K. Nahrstedt, A. Roy. A DistributedResource Management Architecture that Supports Advance Reservations andCo-Allocation. Intl Workshop on Quality of Service, 1999. R. Butler, D. Engert, I. Foster, C. Kesselman, S. Tuecke, J. Volmer, V. Welch. A NationalScale Authentication Infrastructure. IEEE Computer, 33(12):60-66, 2000. H. Stockinger, A. Samar, B. Allcock, I. Foster, K. Holtman, B. Tierney. File and Object Replication in Data Grids. Proceedings of the Tenth International Symposium on High Performance Distributed Computing (HPDC-10), IEEE Press, August 2001. J. Novotny, S. Tuecke, V. An Online Credential Repository for the Grid: MyProxy. Welch. Proceedings of the Tenth International Symposium on High Performance Distributed Computing (HPDC-10), IEEE Press, August 2001. I. Foster, C. Kesselman, J. Nick, S. Tuecke; January, The Physiology of the Grid: An Open Grid Services Architecture for Distributed Systems Integration. 2002. Gabrielle Allen, Tom Goodale, Gerd Lanfermann, Thomas Radke, Edward Seidel,Werner Benger, Hans-Christian Hege, Andre Merzky, Joan Massó and John Shalf, Solving Einstein's Equations on Supercomputers, IEEE Computer, 32, (1999) [cover story] Gabrielle Allen, Edward Seidel, John Shalf, Scientific Computing on the Grid, Byte, Spring 2002 Ben Segal, Grid Computing: The European Data Project, IEEE Nuclear Science Symposium and Medical Imaging Conference, Lyon, 15-20 October 2000. H. Stockinger, A. Samar, B. Allcock, I. Foster, K. Holtman, B. Tierney. File and Object Replication in Data Grids. Proceedings of the Tenth International Symposium on High Performance Distributed Computing (HPDC-10), IEEE Press, August 2001. I. Foster, C. Kesselman, S. Tuecke, The Anatomy of the Grid: Enabling Scalable Virtual Organizations. International J. Supercomputer Applications, 15(3), 2001. S. Fitzgerald, I. Foster, C. Kesselman, G. von Laszewski, W. Smith, S. Tuecke. A Directory Service for Configuring High-Performance Distributed Computations. Proc. 6th IEEE Symp. on High-Performance Distributed Computing, pp. 365-375, 1997. J. Novotny, S. Tuecke, V. An Online Credential Repository for the Grid: MyProxy. Welch. Proceedings of the Tenth International Symposium on High Performance Distributed Computing (HPDC-10), IEEE Press, August 2001. 美国地球系统网格ESG。http://www.earthsysemgrid.org/ 欧盟数据网格项目DataGrid，http://eu-datagrid.web.cern.ch/eu-datagird/ 美国地震网格NETSgrid。 http://www.neesgrid.org/ http://www.cactuscode.org http://www.cacr.caltech.edu/SFExpress http://www.aps.anl.gov http://www.sdsc.edu/hpss/hpssl.html Web Service工作组，http://www.w3.org/2002/ws/ JXTA Project. Http://www.jxta.org/ Myrinet HomePage. http://www.myri.com/ Access Grid HomePage. http://www.accessgrid.org/ I-WAY Project. http://www.iway.org/ NPACI Project. http://www.npaci.edu/ http://www.cacr.caltech.edu/SFExpress http://www.imaging-nsmc.com.cn/telmedicine/tel.htm The DataGrid Project. http://www.datagrid.cnr.it/ Grid Physics Network..http://www.gridphyn.org/ 美国军事网格GIG. http://www.mitre.org/pubs/edge/july-01/ Foster做的关于网格计算的演讲材料，可以从如下网址下载： http://www-fp.mcs.anl.gov/~foster/Talks/WWWGridsMay2002.ppt http://www-fp.mcs.anl.gov/Talks/GridTutorial.ppt OGSA结构描述，http://www.gridforum.org/ogsiwg/drafts/ogsa_fraft2.9_2002-06-22.pdf http://www.globus.org/ogsa GGF的OGSI工作组， http://www.gridforum.org/ogsi-wg/ Vis5D Home Page, http://www.ssec.wisc.edu/~billh/vis5d.html Cave5D Home Page, http://www.ccpo.odu.edu/~cave5d/homepage.html Cave6D, http://www.evl.uic.edu/akapoor/cave6d/ 863网格计算专项 http://www.863.org.cn/863_105/applygide/applygide2/information2_app/200206270024. html Economic GridBhttp://www.csse.monash.edu.au/~rajkumar/thesis/thesis.zip NMI ProjectBhttp://www.nsf-middleware.org/ SinRG ProjectBhttp://icl.cs.utk.edu/sinrg/ Polder ProjectBhttp://www.wins.uva.nl/projects/polder/ MOL ProjectBhttp://www.uni-paderborn.de/pc2/projects/mol/