| 重视数据环境的重建与提升，是信息化发展的必然选择——----“制造业企业信息集成网上研讨会”之十四 |
| 作者:孙立宪 来源于: 2004-5-31 11:54:59 |
在本文中，将着眼于数据环境的建设，系统阐述数据环境重建及数据标准化与系统应用整合的关系，提出消除孤岛、资源整合的全面解决方案。 前言 信息化是世界经济和社会发展的必然趋势，也是我国企业实现产业升级和工业化、现代化的关键。信息化建设是一项复杂的系统工程，如何合理组织、协调、开发和利用信息资源，整合企业优势资源，提升企业的核心竞争力才是信息化成败的关键。然而，目前众多企业在进行信息化建设的过程中，只重视应用系统的研发，缺乏对数据环境建设的认识或认识不足，造成企业数据环境混乱，缺乏统一的数据标准和规范，影响应用系统的整合应用，更难以进行数据挖掘、决策分析等高层应用，严重制约企业信息化的发展，影响企业生产效率。在本文中，将着眼于数据环境的建设，系统阐述数据环境重建及数据标准化与系统应用整合的关系，提出消除孤岛、资源整合的全面解决方案。 一、何为数据环境 数据库技术应用的本意就是要更加有效地使用数据，保证数据的准确性、一致性和安全性，便于管理及决策分析。数据库的管理系统就是为快捷地解决数据库的创建和存取而设计，但实际的数据应用发展过程并不理想，企业的数据环境也经历着从低级到高级的发展阶段。 “数据环境”（Data Environment）概念的提出是源于数据库理论及其应用发展的过程中出现的“数据处理危机问题”而提出的。 1、“数据处理危机问题”的产生 数据处理危机是信息化建设过程中所经历的一个阶段，由于计算机应用的日益普及，企业应用系统的开发经历了批处理、日常数据处理、管理信息系统及决策支持系统等各个阶段，随着管理的要求越来越高，为满足日益增长的用户的需求，就需要对老系统进行修改或者重建、或是对一些简单的单项应用也要投入人力财务予以维护，同时，由于系统互连和资源共享的要求，进一步各个应用系统能够协同运作，并实时地提供全面的决策分析信息。这时，我们才发现，当初的分散开发的应用系统就难以适应这些要求，修改与提升原系统的功能、重新组织其数据并形成互连要耗费大量的资金，甚至仅通过维护和修改等打补丁的办法已经根本行不通啦，这就是所谓的“数据处理危机问题”。这种由于对信息化建设的认识不足，分散开发、数据混乱、标准不一，所造成孤岛丛生，信息难以共享的现状，在信息化起步较早水平较高的美国，也经历过这一阶段。根据美国80年代初的统计表明，全美每年软件维护费耗资达200亿美元。 在我国这一情况目前日益显现，企业的信息中心人员将大量的精力耗费在现有应用系统的维护之中，针对于企业内部的需求不断地修改应用系统的报表，造成系统数据结构混乱，难以维护，更无从谈及应用整合。同时，信息主管人员没有对数据环境建设给予足够的重视，对数据的组织管理技术没有足够的认识，造成大量的应用堆积，导致企业“信息孤岛”丛生，数据标准化工作滞后于信息化建设，严重影响了企业信息化建设，难以建设高水平的企业信息化。 2、信息工程理论的产生 以詹姆斯·马丁为代表的美国学者，总结了当时数据处理危机发展的相关经验，在有关数据模型理论和数据实体分析方法的基础上，融入其发现的企业数据处理的基本原理——数据稳定性原理，在1981年出版了《信息工程》一书，提出了信息工程的概念、原理与方法，描绘出了用于建设大型复杂信息系统的一整套的方法和工具理论体系。次年又出版了《总体数据规划方法论》一书，阐述了信息工程基础理论和奠基性工作——总体数据规划方法，从理论到具体实施上对信息工程加以阐述。80中期詹姆斯·马丁又出版了《信息系统宣言》一书，对信息工程的理论与方法加以补充和发展，特别是关于“自动化的自动化”的思想，关于最终用户与信息中心的关系以及用户在应用开发中的地位等论述都非常详尽，同时也涉及到开发方法及开发工具方面的论述，为建设高效率、高质量的复杂信息系统提供了经验性的总结，标志着信息工程理论学科的成熟与发展。 詹姆斯·马丁所提出的信息工程理论的核心内容就是以主题数据库规划、设计和实现为主体的企业数据环境建设。但由于应用系统开发过程是由一些互不联系的系统分析和设计人员分散独立完成，导致数据项和内容重复，最常见的就是出现“同义异名”或“同名异义”的现象，这种相互矛盾的数据库被不同的开发项目组创建，导致各部门间的信息共享非常困难，最终导致数据处理危机的出现。 3、数据环境概念的提出 基于此，詹姆斯·马丁在《信息工程》和《总体数据规划方法论》提出了“数据环境”的概念。他将计算机的数据环境分为四种类型。 第一类数据环境，数据文件（DataFiles）。早期的数据处理还没有出现数据库管理系统（DBMS），系统分析员和程序员根据应用的需要，用程序语言分散地设计实现各种数据文件。这是一种数据组织技术简单、相对容易实现的数据环境。但随着应用程序的增加，数据文件数目剧增，会导致极高的维护费用，并会因一些极小的应用的变化引起整个系统的全面修改，增加维护成本和周期，影响运行。 第二类数据环境，应用数据库（Application Data Bases）。虽然数据管理系统已经出现，但系统分析员和程序员仍是按照报表的原样“建库”，没有在数据分析和组织管理上下功夫，使分散的应用设计分散的“数据库”并不具备数据库的品质，不能支持数据的共享。这种数据环境同文件环境一样，随着应用的扩充，应用数据库也在剧增，维护费用更高，并没有发挥出使用数据库的优越性。 第三类数据环境，主题数据库（Subject Data Bases）。这是一种真正意义上的数据库，经过科学的规划与设计，其结构与使用的它的处理过程是独立的。各种面向业务主题的数据，如客户数据、产品数据或员工数据等，通过一些共享数据库被联系和体现出来。其优点是：经过严格的数据分析，建立模型需要花费时间，便其后的维护费用很低。最终会加快应用系统的开发，使用户直接与数据库交互使用数据。建立这种数据环境，彻底改变原有传统的系统分析方法和数据处理与组织管理方法，使企业信息化的基础数据环境得以彻底改善与提升。但如果管理不善，这类数据环境也会蜕变成第二（或第一类）数据环境。 第四类数据环境，信息检索系统（Information Retrieval System）。这种数据环境的目的是保证信息检索和快速查询的需要，以支持高层管理和辅助决策，而不是传统意义上的大量的事务管理。90年代称这种数据环境为数据仓库（Data Ware house），它是面向主题的、单一的、完整的和一致的数据存储。数据从多种数据源获取，经过加工成为最终用户在一定程度上可理解的形式。可以认为数据仓库是主题数据库的集成，是深加工的信息。 以数据文件或应用数据库为主体的数据环境，是低档次的数据环境。一个现代化管理水平较高的企业，应当具有第三类和第四类的数据环境，即高档次的数据环境，来适应企业信息化的需求，才能保证企业高效率、高质量地利用数据资源，才能在数据集成的基础上实现应用集成，达到真正的系统集成。因此，可见在数据环境的建设过程，主题数据库是最为关键的核心内容，只有转变原有传统的系统分析和数据组织管理思维方法，建立科学的主题数据库，才能实现企业数据环境的提升。 现代企业置身于数据的汪洋大海之中，每个企业所产生、存储和使用的数据差不多也是一个“数据海湾”，因此企业数据环境建设的任务非常艰巨。目前，我国大多数企业的数据环境还是由数据文件和应用数据库构成的低档次数据环境。高档次的数据环境应是由主题数据库和数据仓库构成的数据环境。企业高档次数据环境中各种信息应存储在主题数据库或数据仓库之中，只有这样的数据环境才有真正意义上的信息快捷流通，近年来日益成熟的数据仓库技术，也为企业数据的深加工和辅助决策分析应用提供了有力的支持。 数据仓库是从数据库发展来的，明确地讲，是从主题数据库发展来的。如果信息管理环境混乱，缺少共享数据库和数据仓库，那么综合查询和决策分析是难以实现的。 目前，许多大型集团企业在信息化建设的过程中，信息化的基础设施中的通信—计算机网络已经十分先进，但并没建立和运行内容丰富、更新及时的主题数据库，更没有用数据仓库来支持分析决策工作。这主要是由于认识上存在误区，对数据环境的改造和重建认识不清所致，只有将已有数据库进行改造和提升为主题数据库，才会营造真正的高档次的数据环境。 4、主题数据库的优越性 主题数据库是与企业中的各种业务主题相关联，而不是与具体的系统应用程序相关联的。典型的企业主题数据库有：产品、客户、零部件、供应商、订货、账户、员工、文件资料、工程规范等。相关的系统应用是基于这些主题数据库之上的，有的应用系统需要存取一两个主题数据库，有的应用系统需要与多个主题数据库同时交换数据。 主题数据库的设计目标之一就是为了加快应用系统的开发速度，程序员将所用的数据存于主题数据库中，只需使用数据库报表生成软件、查询语言或高级应用开发工具，而不需使用编程语言进行编程。主题数据库创建得越多，应用开发的速度也越快。当新的应用系统项目提出时，许多数据库已经存在，尽管有些时候可能需要增加某些属性字段，但借助于相关的语言、软件工具可使应用系统的开发非常迅速完成，并确保一致性。 主题数据库的基本特征是面向业务主题的、信息共享的、一次一处输入的、由基本表（BaseTable）所构成的。 作为一种集约化的数据库环境，主题数据库是独立于企业具体应用的数据资源。应用主题数据库，可实现数据与应用过程严格分开，采用面向数据开发的方法。这种方法与面向过程开发具有非常明显的优越性： 面向数据方法可避免文件数目过多、维护工作量大、数据冗余和数据不一致等问题； 主题数据库建成后，某些系统应用可直接利用相关数据库语言迅速开发； 最终用户能够对数据库直接进行存取操作，可建立自己的报表管理和应用项目，提高效率和自主性； 5、数据环境建设的主要内容 在四类数据环境之中，由低档到高档的建设过程，最为关键的环节是主题数据库的设计、创建、应用及在其基础上进行的应用系统研发。所以，数据环境建设是以主题数据库为核心内容，在系统科学全面的总体规划基础上，制定全企业范围内的数据资源管理标准，并在基础标准的指导下进行应用系统的选型，达到在高档次的数据环境基础上建设高水平的应用，实现真正的应用集成——数据集成。 因此，在数据环境建设的过程中，要发挥高档次的数据环境建设的优势，必须要有全面的、整体性的、共享的数据管理思维，转变过去“数据拥有者”或“权力控制”等思想，在全企业范围内实施数据的标准化管理和全统一规划，即建立信息资源管理（IRM）的基础标准和信息资源规划（IRP）。 二、如何进行数据环境重建与提升 此前我们讨论了数据环境建设的重要性及其主要内容，那如何进行数据环境的重建与档次提升呢？如何确保主题数据库设计的科学性、实用性和有效性呢？这就需要进行信息资源规划（IRP），通过制定全企业范围内的数据管理标准，即信息资源管理基础标准，建立科学的数据管理体系，用以指导、控制和协调数据环境建设以及在此基础上的应用系统的选型工作。 建立数据管理标准（DMS） 信息资源管理源于威廉·德雷尔的数据管理标准化方面的著述，他早于1985年出版了《数据管理》一书，他提出：“没有卓有成效的数据管理，就没有成功高效的数据处理，更建立不起来整个企业的计算机信息系统”这一名言。没有数据结构的规范化、数据管理的科学化及标准化，企业的计算机化（或信息化）就无从谈及。他总结并提出了数据管理的相关标准，其中数据管理的重要标准就是要确保数据的一致性，即数据命名、数据属性、数据设计和数据使用的一致性。这也是主题数据库的特征之一。 信息资源管理的基础标准是指那些决定信息系统质量的、最基本的标准。根据威廉的专著和相关的文献研究及实践的探索，圣达总结出信息资源管理的基础标准，即数据管理的标准有：数据元素标准、信息分类编码标准、用户视图标准、概念数据库标准和逻辑数据库标准。 由这五大标准所构成的数据管理标准体系，可确保数据管理基础标准的一致性和严密性。并在专业的支撑工具软件的支持下，减化人工参预的工作量，在确保统一和一致性的前提下，大大提高数据管理标准工作的效率和质量。因此，正规的数据处理部门应严格要求程序员遵循数据管理的标准，保证企业各应用系统的标准一致性和产品内聚性，维持数据环境的高档水平，为应用系统的应用整合打下良好的基础。 建立数据管理体系 建立数据管理的标准之后，围绕标准的宣贯和执行应当有一套完整的管理体系，来确保企业数据环境建设的成果，更好地在此基础上进行信息化建设。 首先，建立数据管理体系，要建立企业数据信息的收集、维护与发布的管理机制，即要建立企业数据字典（Data Dictionary），包含元数据信息。企业所有的元数据可存储在一个数据库中，即元数据库或中心元库（Central Repository）。数据字典根据企业信息系统开发的阶段性不同，可划分为概念数据字典、逻辑数据字典和物理数据字典。在规划阶段，只界定数据元素的标识和名称（即：数据元素标准），我们称之为概念数据字典；在系统设计阶段，需界定数据元素的数据类型、长度等属性，我们称之为逻辑数据字典；在应用系统实施阶段，要说明数据元素在具体应用系统中是什么样的以及如何被使用的，我们称之为物理数据字典。 其次，建立数据管理体系，要明确数据管理制度。创建数据库和数据字典，是数据管理人员所要利用的资源和工具，但这只是数据管理中的一部分。数据管理的整个目标是规划、管理和控制全企业范围内的信息资源，以数据库和数据字典作为资源和工具，利用其良好数据结构，来集中管理全企业范围内的信息资源。因此，需要建立数据管理部门、明确数据管理部门的职责、确定数据管理人员的职务及其在企业中的地位与作用。 数据管理部门的重要职责，是集中控制和管理数据定义，建立全企业数据管理的基础标准和规范化的数据结构，协调计算机应用开发人员和用户实施数据管理标准规范。 最后，建立数据管理体系，特别要强调数据管理的长期性和复杂性，作为企业管理的重要组成部分，数据管理需要长期复杂的工作，化解各种困难，持之以恒才能见到效果。同时，寻求解决问题的科学的方法论也是关键，信息资源规划理论（IRP）就是数据环境建设、数据标准化和系统应用整合的利器，着眼于全企业范围内的信息资源的总体规划的过程中，落实应用为主导的原则，形成企业数据管理的标准（即：信息资源管理基础标准），规划设计出系列的企业主题数据库，从而指导应用系统的选型和整合优化，达到消除信息孤岛、实现数据集成的信息化目的。 实施信息资源规划意义 信息资源规划（Information Resource Planning，IRP）的实施主要是建立数据管理的五类基础标准，并落实企业应用需求建立功能模型、数据模型和系统体系结构模型。在规划的同时对企业的业务进行梳理与优化，进行数据分析，为应用系统集成提供全面的解决方案。 实施信息资源规划工作的意义主要有以下几方面： 1）帮助企业自身理清并表达需求，落实信息化建设的“应用主导”的原则。信息资源规划工作要求系统分析人员与用户业务人员密切合作，全面进行需求分析调研和整理工作，用规范化的文档来反映用户的真正需求； 2）整合信息资源，消除“信息孤岛”，实现应用系统的集成。“信息孤岛”产生的技术原因，是由于缺乏信息资源管理基础标准；信息资源规划过程就是开始建立数据标准的过程，从而为整合信息资源，实现应用系统集成奠定坚实的基础，打造了高档次的数据环境。 3）指导SCM、CRM、ERP等各种应用软件的选型并保证成功实施。企业通过信息资源规划搞清了用户需求，建立了信息资源管理基础标准，就有了应用软件选型与实话的主动权，否则，虽经过管理咨询、多方考察和论证，由于自己心中无“数”，容易犯“削足适履”的错误。 4）信息资源规划工作包括分析整理大量复杂的资料，吸纳众多人员的意见、经验和智慧，通过规划工具软件的支持，可以确保规划过程中定义与理解的一致性，可以确保信息资源规划的资源的存储、修改和后续应用开发的过程的连续性，使规划工作的质量、效率都得以提高，并可将规划成果固化到软件中，形成活化的规范化的计算机文档资料（IRR），适应企业信息化建设的阶段性需求，实现信息资源规划的渐进提升。 数据环境建设的阶段性与适应性 由于企业信息化应用和人们对数据环境认识的阶段性存在，导致各时期的应用系统数据结构的不关联和应用程序的堆积，这是客观现实。目前，许多企业的信息化管理人员都期望通过数据接口来实现对现有应用系统的集成，但这只是一种期望。由于各个应用系统所存储、变换的冗余或重叠的数据非常复杂、并交织在一起，要修改或扩充系统的任何部分都是非常困难的和投入巨大的。随着应用的越来越多、对信息分析和决策支持的要求越来越强烈，会使数据环境的混乱进一步加剧，从而制约企业的发展。 信息系统集成的目的是将那些孤立运行的应用系统变为集成化的信息系统的过程，即由信息孤岛联成信息大陆的过程。全企业范围的信息系统的集成是一种应用系统的再造工程，其实质是数据的集成，其基础是信息资源规划。基于信息资源规划的应用系统集成的特点如下： 企业内部的数据交换不使用数据接口，而是存取共享的主题数据库； 少量的、过渡性的数据接口在系统集成发展的过程中是允许的； 少量的、非过渡性的数据接口对连接成熟的应用系统是必要的； 根据信息资源规划的成果进行全企业共享数据库的重新设计，有步骤地实现数据环境的重建； 最终建成高档次的数据环境——以主题数据库和数据仓库为主体的数据环境。 从以上我们可看出，数据环境的建设是有阶段性和适应性的，需要根据企业目前应用系统的现状及阶段性需求进行调整，在不影响应用系统建设的前提下适度超前，确保企业信息化建设的阶段性要求。 同时，我们也要注意到系统集成也是相对而言的。如把全企业的应用系统都建立在统一的高档次的数据环境之上称作“全域集成”的话，那么把人力资源系统建立在几个主题数据库之上就可称作“局部集成”。显然，实现全域集成的难度是非常大的、周期也是非常长的；而实现局部集成的难度较小、周期也短，见效也快。所以，如果人力资源、物资或设备检修系统等几个应用已经实现局部的集成，或再开发或外购一个成熟的具有集成特征的“安全监理系统”，为使这些应用系统能够数据交互，可以建立少量的数据接口，这不仅是必要的，也是推进企业信息化快速发展的需求。 在信息资源规划的基础上，建立了若干个成型的主题数据库，针对全企业范围需求分析，创建的企业的数据管理标准就可以指导、协调和控制集成过程中各应用系统内部、各应用系统之间及接口程序间的统一的数据标准和规范，为最终消除接口、整合应用打下良好的基础，随着企业信息化的深入和财务的提高，可逐步对相关的不适合的应用进行整合，达到最终联成“信息大陆”的目的。 数据环境的建设，随着企业数据库管理水平的提升，可逐步步入到以数据仓库为主的第四类数据环境，应用数据挖掘、数据集市等数据分析技术，在高效的数据管理环境中实现企业信息化决策能力的提升。当然，只有企业通过信息资源规划工作，由低档的数据环境提升到以主题数据库为主要特征的第三类数据环境之上时，才可实现，高档次的数据环境建设并不是瞬间建成的，是需要在标准化的主题数据库之上进行数据抽取、数据挖掘、数据分析。所以，针对目前数据仓库、数据挖掘及数据集市等商家概念性的恶炒，作为企业信息主管人员要有清醒的认识，避免再次走入信息化建设的误区。 三、总结 数据环境建设是一个复杂、困难、艰巨的过程，但同时也是信息化建设的基础工程，也是信息化建设的必经过程。只有重视企业数据环境的建设，由低档次数据环境提升到高档次数据，才会使企业的各类应用落到实处，才会有真正的应用集成，也才会有企业信息化建设的质的飞跃。呼吁从事企业信息化管理及应用系统研发的人员，应重视数据环境的重建和提升，重视数据标准化，重视信息资源规划工作。 参考文献 [1]高复先著，信息资源规划——信息化建设基础工程，清华大学出版社，2002 [2]高复先、蔡文海编著，信息资源规划师培训教材，圣达IT咨询，2004 [3]高复先，企业信息化与数据环境的重建，国家自然科学基金资助项目研究报告 |
 |
