数据仓库技术解决措施之ExpressServe

 IBM、Oracle、Sybase、CA、NCR、Informix、Microsoft和SAS等有实力的公司相继通过收购或研发的途径推出了自己的数据仓库解决方案。BO和Brio等专业软件公司也前端在线分析处理工具市场上占有一席之地。根据各个公司提供的数据仓库工具的功能，可以将其分为3大类：解决特定功能的产品（主要包括BO的数据仓库解决方案）、提供部分解决方案的产品（主要包括Oracle、IBM、Sybase、Informix、NCR、Microsoft及SAS等公司的数据仓库解决方案）和提供全面解决方案的产品（CA是目前的主要厂商）。

　　1 、BusinessObjects（BO）数据仓库解决方案

 

　　BO是集查询、报表和OLAP技术为一身的IDSS，它使用独特的语义层和动态微立方技术来表示数据库中的多维数据，具有较好的查询和报表功能，提供钻取等多维分析技术，支持多种数据库，同时还支持基于Web浏览器的查询、报表和分析决策。虽然BO在不断增加新的功能，但从严格意义上讲，只能算是一个前端工具。也许正是因为如此，几乎所有的数据仓库解决方案都把BO作为可选的数据展现工具。

 

　　BO支持多种平台和多种数据库，同时支持Internet/Intranet。BO主要作为第三方产品或其它公司的产品结合进行使用。BO是集成查询，报表和分析功能工具，它还提供了世界上第一个通过Web进行查询、报表和分析的决策支持工具Webintelligence，第一个可以在Microsoft Excel集成企业公共数据源中数据的工具Businessquery和面向主流商业用户的数据挖掘工具Businessminer，用其可以实现深入的分析用以发掘深层次的数据之间的关系。

 

　　2、 IBM数据仓库解决方案

 

　　IBM公司提供了一套基于可视数据仓库的商业智能解决方案，具有集成能力强，高级面向对象SQL等特性。包括：Visual Warehouse（VM）、Essbase/DB2OLAP Server 5.0和IBM DB2 UDB，以及来自第三方的前端数据展现工具（如BO）和数据挖掘工具（如SAS）。其中，VW是一个功能很强的集成环境，既可用于数据仓库建模和元数据管理，又可用于数据抽取、转换、装载和调度。Essbase/DB2 OLAP Server支持：“维”的定义和数据装载，它不是关系型OLAP，而是混合型的OLAP。

 

　　IBM采取合作伙伴战略，例如其前端数据展现工具可以使Business Objects的BO、Lotus的Approach、Cognos的Impromptu或IBM的QueryManagementFacility，多维分析工具支持ArborSoftware的Essbase和IBM的DS2 OLAP服务器，统计分析工具采用SAS系统。

 

　　IBM公司推出的DB2 UDB 7.1主要实现以下功能：电子商务，包括e-commerce、ERP、客户关系管理、供应链管理、网络自助和商业智能，帮助企业实现电子商务。商业智能利用已有的数据资源来支持企业决策，包括数据访问、数据分析、成本控制、获取新的商业机会和提高客户忠诚度；数据管理包括准确高效的运行查询和应用、安全的存储、访问数据、数据恢复和在复杂的硬件环境下实现应用；增强DB2家族产品，满足当今异构计算环境的需要，实现开放时机决方案。

 

　　3 、Oracle数据仓库解决方案

 

　　Oracle作为世界上最大的数据库厂商之一，凭借其在技术、资源和经验上的优势，一直致力于为企业提供最能满足企业竞争需要的数据仓库解决方案，其数据仓库解决方案包含了业界领先的数据库平台、开发工具和应用系统。Oracle数据仓库突破了现有数据仓库产品的局限，能够帮助企业以任何方式访问存放在任何地点的信息，在企业中的任何层次上，满足信息检索和商业决策的功能需要。数据仓库解决方案能够提供一系列的数据仓库工具和服务，具有多用户数据仓库管理能力，多种分区方式，较强的与OLAP工具的交互能力，以及快速和便捷的数据移动机制等。

 

　　Oracle数据仓库解决方案主要包括两部分：

 

　　（1）、Oracle Ecpress：它由4部分组成，Oracle Express Server是一个MOLAP服务器，它利用多维模型，存储和管理多维数据库或多维高速缓存，同时也能够访问多种关系型数据库；OracleExpressWebAgent通过CGI或Web插件支持基于Web的动态多维数据展现；OracleExpressObjects前端数据分析工具提供了图形化建模和假设分析功能，支持可视化开发和事件驱动编程技术，提供了兼容Visual Basic语法的语言，支持OCX和OLE；OracleExpressAnalyzer是通用的面向最终用户的报告和分析工具。

 

　　（2）、OracleDiscoverer：即席查询工具，专门为最终用户设计，分为最终用户版和管理员版，在其数据仓库解决方案实施过程中，通常把汇总数据存储在Express多维数据库中，而将详细数据存储在Oracle关系数据库中。需要详细数据时，ExpressServer通过构造SQL语句访问关系数据库。但目前的Express还不够灵活，数据仓库设计的一个变化往往导致数据库重构。

 

　　4、 Sybase数据仓库解决方案

 

　　Sybase公司提供的数据仓库解决方案以能够支持多种关系型数据库而受到业界的推崇。它能够同时处理几十个即席查询，其垂直数据存储技术是系统只访问特定的少量数据，使得查询速度比传统的关系型数据库管理系统快100倍。

 

　　Sybase提供的数据仓库解决方案称为Sybase企业级关系型数据库，AdaptiveServerIQ是专门为数据仓库设计的关系型数据库，它为高性能的DSS和数据仓库的建立作了专门的优化处理，SybaseIQ支持各种流行的前端展现工具（如CognosImpromptu、BusinessObjects和BrioQuery等）。数据分析与展望工具包括PowerDimensions、EnglishWizard、InfoMaker和PowerDynamo等，PowerDimensions是图形化的OLAP工具，支持SMP和多维缓存技术，能够集成异构的关系型数据仓库和分布的数据集市，从而形成单一新型的多维模式，数据仓库的维护与管理工具包括WarehouseControlCenter、SybaseCentral和DistributionDirector，其中WarehouseControlCenter是为数据仓库库开发人员提供的元数据管理工具。

 

　　Sybase提供了完整的数据参股解决方案QuickStartDataMart，具有良好的性能，并支持第三方数据展现工具，它尤其适合于数据集市应用。另外，Sybase可以提供面向电信、金融、保险和医疗保健4个行业的客户关系管理产品。

 

　　5、 Infomix数据仓库解决方案

 

　　Infomix于1998和1999年相继收购了国际上享有盛誉的数据仓库供应商RedBrickSystem和数据管理软件供应商Ardent，并提供了完整集成的数据仓库解决方案。该解决方案还包括了一个快速启动咨询服务，能够帮助用户快速完成数据仓库或数据集市的开发。Infomix产品能够集成Microsoft IIS或NetscapeEnterprise/FastTrack服务器，从而支持基于Web的数据仓库应用。

 

　　Infomix没有提供自己的报表和数据挖掘工具，但与Brio和SAS公司建立了战略联盟，并推出了“Infomix商业智能联盟计划”，该计划以Infomix为主，结合Brio的前端数据分析和报表功能，以及SAS的数据挖掘功能，形成了一个“BI中心”打包方案。

 

　　Infomix公司发布的集成可伸缩的FastStart数据仓库解决方案，使用户能够快速而便捷的设计开发具有可伸缩的数据仓库或数据集市。InfomixDataStage是一个可以简化和自动从任意数据源中抽取、转换、集成和装载数据的集成化工具，其可视化设计使用户可以通过一个直观的可视模型设计数据的转换过程，它允许开发者添加更多的数据源、目标及转换程序，而无须重建应用程序，因此可降低成本，减少时间和资源。由于能快速确定解决方案，用户可以在短时间内存取他们需要的数据，从而做出更明智的商业决策。

 

　　构建一个数据集市包含许多普通的操作，而每个执行过程都不可避免的需要制定解决方案，使之适应特定的分析需求。有经验的开发者懂得如何定制以便处理特殊的数据格式、专业化的商业规划处理和复杂的逻辑转换，这些工作大约占用构建数据集市或数据仓库所需的80%以上的成本和时间。InfomixDataStage提供一个基于组件的体系结构，可以通过模型化、重复使用模块（如文件载入和集合）来简化和加快开发过程。另外还提供了更为强大的可伸缩性和经济性，允许用户建立反映特定应用需求的组件，然后封装这些组件以重用。

 

　　InfomixDataStage利用开放的应用程序接口（API）和开发工具箱扩展基于组件的体系结构，使用这个接口，用户能够方便的构建新的被称为“Plug-In”的组件。利用这些Plug-In，用户可以捕获定制的转换和商业规划，自动归档并在InfomixDataStage环境中重复使用，从而构建一个可扩展的附加功能库。

 

　　InfomixDataStage包括如下组件:

 

　　(1)   设计器。这是一个强大的，基于图形用户界面的开发工具，包含一个转换引擎，一个元数据存储和二种编程语言（SQL和BASIC）。使用设计器的拖拉功能，用户能在准备数据集市中建立一个数据转换过程模型，防止操作系统的中断及避免执行错误。

 

　　(2)   存储管理器。在开发数据集市的过程中，使用存储管理器浏览、编辑和输入元数据，可能包括来自操作系统的元数据或目标集市及开发项目中新的元数据  （如新的数据类型定义、传输定义和商业规则）。

 

　　(3)   控制器。使用控制器和运行引擎规划运行中的解决方案，测试和调试其组件，并肩控执行版本的结果（以特别要求或预定为基础）。

 

　　(4)   管理器。简化数据集市的多种管理，用其为用户或用户组分配器权限（控制InfomixDataStage客户应用或看到或执行的工作），建立全局设置（如用于自动清除日志文件的默认设置），移动、重命名或删除项目和管理或发布从开发到生产的状态。

 

　　(5)   服务器。提供了很高的性能，如高速转换引擎、临时的数据存储、支持legacy及关系数据结构和强大的预定义转换等。另外，服务器通过多个处理器平台优化强化可伸缩性，支持多种数据输入／输出方法，容易添加新的数据源及转换方法。

 

　　6 、NCR数据仓库解决方案

 

　　ＮＣＲ提出了一套独特的数据仓库方法论和实施框架理论，成为“可扩展数据仓库”（ScalableDataWarehouse，简称为ＳＤＷ），其基本框架主要分为３个部分：

 

　　（1）     数据装载。把操作数据或源数据利用一定的方法，如提取、过滤（Filer）、清理（Scurb）、家庭关系识别（Household）等，从生产系统中转换到中央数据仓库中。这种转换分成逻辑与物理两部分，即根据业务问题建立数据库逻辑模型。然后在此基础上构造物理模型，将操作数据加载到物理表中。逻辑建模应基于要解决的业务问题，而不是基于目前的系统能提供的数据进行。换言之，数据仓库的出发点是解决业务问题，而不是只提供一个信息转换与访问的工具。

 

　　（2）     数据管理这一部分是整个数据仓库的心脏，它必须采用一个具有优良并行处理性能的关系数据库管理系统。当数据仓库非常庞大而且复杂时，为了提高性能，可以建立一些面向部门应用的数据集市，集市中的数据从中央库中通过复制与传送等手段拷贝而来。

 

　　（3）     信息访问。这是前端工具，主要提供给有关业务部门访问数据仓库中的信息使用，一般都采用一些具有图形界面和交互功能强的查询工具。

 

　　NCR数据仓库的主要工具Teradata是高端数据仓库市场最有力的竞争者，主要运行在NCRWorldMarkSMP硬件的Unix操作系统平台上，提高交互分析、标准报告和多维度分析。

 

　　7、 Microsoft数据仓库解决方案

 

　　2000年4月，Microsoft发布了SQL Server 2000 Beta 2版本，供用户测试评估该公司下一版本的数据库系统。该版本是一套完全的数据库和数据分析解决方案，是用户可以快速创建下一代的可扩展电子商务和数据仓库解决方案，包括以下几大功能：

 

　　（1）     完备的Web功能。提供完全集成和基于标准的XML支持，对于Web开发人员和数据库程序员来说都是灵活高效且易于使用的。数据挖掘功能可以自动地从大量的商业信息中进行筛选，帮助客户找出未被发现的新机会，预测在商业中制胜的策略。

 

　　（2）     高度可扩展性和高可靠性。SQL Server 2000引入了一个新的特性，称为“分布式数据库分区视图（Distributed Partitioned Views）”，可以把工作服在分配到多台独立的SQL分析服务允许对拥有数以亿计成员的为进行多维查询，支持对Web数据集的高速分析。

 

　　（3）     加速应用开发。SQL Server 2000与Windows 2000的活动目录服务的紧密集成允许集中管理SQL Server 2000和其他企业资源，从而极大的简化了大型组织中的系统管理任务。

 

　　SQL Server 2000还增强了安全性方面，保护防火墙内和防火墙外的数据。SQL Server 2000支持强有力的、灵活的和基于角色的安全，拥有安全审计工具，并提供高级文件加密和网络加密功能。

 

　　Microsoft Windows DNA是建立和部署Internet商业应用程序全面的集成平台。SQL Server可以在Windows DNA环境下快速建立Web解决方案，并减少了建立电子商务应用、商业智能（数据仓库）和商业线路应用所需的时间，同时保证了这些应用具有在最苛刻的环境下面所需要的可扩展性。

 

　　Microsoft将OLAP功能集成到SQL Server中，提供可扩充的基于COM的OLAP接口。Microsoft Office 2000套件中的Access和Excel可以作为数据展现工具，另外SQL Server还支持第三方数据展现工具。SQL Server 2000数据仓库技术主要包括：

 

　　（1）     数据传输服务DTS（DataTransformationServices）提供数据输入/输出和自动调度功能，在数据传输过程中可以完成数据的验证、清洗和转换等操作，通过与Microsoft Repository集成，共向有关的元数据。

 

　　（2）     Microsoft Repository存储包括元数据在内的所有中间数据。

 

　　（3）     SQL Server OLAP Services支持在线分析处理。

 

　　（4）     PivorTableServices提供客户端OLAP数据访问功能，通过这一服务，开发人员可以用VB或其他语言开发用户前端数据展现程序，PivorTableServices还允许在本地客户机上存储数据。

 

　　（5）     MMC（Microsoft Management Console）提供日程安排、存储管理、性能监测、报警和通知的核心管理服务。

 

　　8 、SAS数据仓库解决方案

 

　　SAS公司在20世纪70年代以“统计分析”和“线性数学模型”而享誉业界，20世纪90年代以后，该公司也加入了数据仓库市场的竞争，它提供的工具（如智能化的客户机/服务器和多厂商构架等）可以帮助企业实现一个灵活和低风险的处理，并提供了特点鲜明的数据仓库解决方案，包括多个专用模块。其中，SAS/WA（WarehouseAdministrator）是建立数据仓库的集成管理工具，包括定义主题、数据转换与汇总、更新汇总数据、元数据管理和数据集市的实现等；SAS/MDDB是SAS用于在线分析的多维数据库服务器；SAS/AF提供了屏幕设计功能和用于开发的SCL（屏幕控制语言）；SAS/ITSV（ITService Vision）是IT服务的性能评估和管理的软件，这些IT服务包括计算机系统、网络系统和Web服务器和电话系统等。总的来说，SAS系统的优点是功能强、性能高且特长突出；缺点是系统比较复杂，软件投资较高，而且每年都需交纳License费。

 

　　9 、CA数据仓库解决方案

 

　　CA于1999年收购了PlatinumTechnology公司后，得到了完整的数据仓库解决方案，包括Erwin数据仓库设计工具、InfoPump数据转换与抽取工具、InfoBeaconROLAP服务器、Foresrt&Trees前端数据展现工具、Provision系统监视与作业调度工具和DecisionBase元数据管理工具等。

 

　　与Informix解决方案相似，CA解决方案也提供了数据仓库建模、元数据管理、数据抽取与转换、基于关系数据库的在线分析服务器、系统监视与作业调度和前端数据展现等功能，同时还支持Web应用。不同之处是Infomix提供了专门为数据仓库设计的高性能目标数据库（RedBirck），而CA解决方案则提供ODBC接口，并将数据存储在第三方关系数据库（如Oracle、Sybase、SQL Server、Infomix和IBM DB2等）中，其性能要打一些折扣，但开放性要好些。另外，CA的OLAP服务器目前只能与Microsoft的IISWeb服务器集成。CA提供的数据仓库解决方案能够满足不同企业的需要，能够集成完全不同的技术解决方案。适合于航空、电信、零售业、股票交易和证券等各行业的数据综合性分析处理，为其提供全面的数据仓库解决方案。其特色如下：

 

　　（1）     独特的元数据管理与应用，数据仓库必须优化，以更好的实现数据存取、大量数据分析乃至交易分析。必须确保数据仓库能够从正确的地方搜集与存储详细的数据，以进行正确的分析，元数据管理是仓库环境、性能和利用率的关键基础，最终的数据仓库的价值取决于基础设计。CA的数据仓库解决方案DecisionBase利用其知识库（Repository）作为中心记录用户的信息资产——关于入库信息的数据，使商业用户能够更轻易的驾驽数据仓库和理解常有的隐含的数据信息。这样元数据如同地图，提示用户的数据仓库中有何信息，这些信息来自何处。

 

　　（2）     数据转换，CADecisionBaseReporter提供了简便的方案，创建与共享特定报表，并将其转换为生产报表，它支持在报表内进行多重查询——使用户可在其报表中创建多重一对关系，并可进行并列比较。无需昂贵的中间件或临时表格，报表生成程序就可将来自不同数据库的数据衔接起来，使CADecisionBaseReporter能够轻松创建具有专业外观的报表。

 

　　（3）     解析处理功能，CA将三维可视化技术运用到了DecisionBaseOLAPServer中，从而为复杂的数据提供了更友好和更为直观的界面。这样用户就能集中精力设计专门的商务功能，提供更稳健的电子商务应用程序，从而更快地进入市场。CADecisionBaseOLAPServer提供了多维视角，并可通过标准关系数据库顶端的“虚拟立方”实现分析处理功能。OLAPServer允许用户通过基于LAN的客户或在浏览器内现场编辑与执行任何分析，动态编辑数据。在任何层级或细节跟踪与分析关键商业指标。因为它是Web激活的，所以应用程序可通过Internet、Intranet或Extranet服务器在企业内轻松配置。

 

　　（4）     预测管理功能，CANeugents是企业用于预测管理的先锋，能够预测商业结果、规划前景和预计收入，并可识别对这些方面有所影响的因素。Neugents与基于规则的系统及基于经验的推论（EBR）一起提供了一整套聪明的解决方案，可用于任何商业问题。通过Neugents与DecisionBase，能够检测企业的客户数据，预测他们最可能购买的产品，然后据此安排生产系统。Neugents可在应用程序内建立学习功能，应用程序可清楚的显示过去所发生状况，并根据已经改变的环境做出正确的反应。

 

　　数据仓库的建设过程是复杂的，企业在制定实施数据仓库解决方案时，不能盲目的选择产品供应商。因为每个行业都有自己的运行特点，特定的业务范围和历史数据。因此在建立数据仓库时，必须紧密结合本行业的特点和本企业的业务发展需求，参考产品提供商的技术特点及其成功案例，认真比较后做出恰当的选择。