基于数据仓库模型的运营分析系统

北京机械工业自动化研究所 研发部 陈程 

    进入21世纪，信息科技迅猛发展，市场瞬息万变，企业要想在激烈的市场竞争中立于不败之地，就需要对客户和市场的信息做出快速、及时的搜集与响应，同时对自身的运营状况也要做出全面的预测与分析。企业要想通过信息化的手段，按照自身的需求以全方位、精确的粒度来分析自身生产、经营的情况，使用数据仓库是一个行之有效的方法。

    数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。

    面向主题：操作型数据库的数据组织是面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。

    集成：数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。

    相对稳定：数据仓库所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。

    反映历史变化：数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。

1、系统软件平台及构造

（1)软件平台

    软件主要包括前台展现页面、WEB应用程序服务器、后台数据库系统。其中前台展现页面是基于B/S架构的JSP页面；WEB应用服务器使用IBM公司的WebSpere Application Server；后台数据库使用Oracle 10g。

（2)系统结构

    下图展示了基于数据仓库模型的运营分析系统的体系结构：其中ETL包括：数据抽取、转换、清洗、过滤、装载这几个步骤，业务数据经过ETL的过程，以另一种方式存入一个逻辑上独立于业务系统的新数据库中。这个数据库对业务系统是完全封闭的，并且是按照待分析的指标存放在多个类似于“数据集市”的多个表中。基于海量的分析数据，我们按之前设定好的参数来进行数据仓库模型的建立，也就是所谓的“多维度”的数据模型，模型建立好以后，就可以在模型框架的基础上进行多角度的海量数据的查询分析。

图1 运营分析系统解决方案的体系结构

结构特点：

①独立性

    该系统和外界的业务系统是完全独立的、不依赖于某种特定的业务系统而存在的。数据的抽取实际上是实现和外部业务系统的数据接口，而接口是可以由多种方式来实现的，如数据库后台的存储过程、JAVA程序等。

    外界业务系统数据的变化也不会实时的、直接的影响到分析系统的数据，分析系统反应的只是某一个时点上业务数据的情况。

②安全性

    由于系统数据存放在独立于外部业务系统的数据库中，拥有外部业务系统访问权限的用户不一定可以访问分析系统。系统通过基础数据定义中角色的授权来控制访问、查询分析分析数据的权限。对于后台存储的数据也进行了加密的处理。

2、系统的多维度数据模型

    多维度结构模型是基于多张维度表和一张事实表的星型模型结构，如图2所示。每个维度表存放的是按属性分类的维成员。如时间维度表中的时间维成员有：2009年、2008年、2007年... ...组织维度表中的组织维成员有：销售部、国际业务部... ...往来单位维度表中的维成员有：客户A、客户B、客户C... ...那么在指标事实表中的数据就可以查询到如“2008年国际业务部与客户A所签的订单额度”、“2009年销售部与客户C所签的订单额度”、“2009年所有部门与所有客户所签的订单额度”... ...

    每个维度表的主键构成了事实表的外键，这样的结构保证事实表中存在每个维度的每个维成员组合的数据。我们可以把事实看成是各个维交叉点上的值。

图2 多维度数据模型

    我们把业务系统中待分析的数据归类，每一类称为一个“指标”。如销售收入、成本总额、应收账款都是指标，指标之间大多数没有彼此的关联，但有一类指标是需要通过其它指标的公式计算得到数据值的，如主营业务利润率=主营业务利润/主营业务收入*100%。所以我们把指标分为非计算类指标和计算类指标两大类。而非计算类指标的数据值来源于业务系统。

3、运营分析系统的设计

（1）ETL数据抽取、转换、装载模块的设计

    系统设置自动的数据库任务，定时的执行存储过程(或者通过定时启用JAVA的线程)将外部业务系统中的数据写入到每个指标的中间表中。

（2）基础数据定义模块的设计

    数据仓库的建模需要根据基础数据的定义模块的相关数据，由指标与维度的关联可以动态生成每个指标的维度表；由指标与维成员的关联可以生成每个指标维度表中的数据；由每个指标的维度表可以动态生成其事实表。

（3）数据查询与分析的设计

    数据的查询与分析其实是对所有指标在多维度模型上的一个展示。包括某个指标在同一个维度的不同层次的维成员上做“上卷”、“下钻”的查询操作、某个指标在某年度的指标值进行“同比”、“环比”的查询操作。此外，针对分析查询的结果，系统支持多维度报表的生成、打印等功能。

    运营分析系统为企业的中高层管理者提供及时、全面、详细的综合数据分析，解决了企业管理者以灵活的方式从各个角度全方面的了解企业生产运营状况的需求，提高了其决策的效率，降低了分析的成本，反应了企业存在的问题，为企业的决策层分析企业经营状况，制定战略计划，以及考核体系提供最全面的分析结果，为今后企业的发展方向与领导的决策提供了准确的数据依据。

声明：本网站所收集的部分公开资料来源于互联网，转载的目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。本站部分作品是由网友自主投稿和发布、编辑整理上传，对此类作品本站仅提供交流平台，不为其版权负责。如果您发现网站上所用视频、图片、文字如涉及作品版权问题，请第一时间告知，我们将根据您提供的证明材料确认版权并按国家标准支付稿酬或立即删除内容，以保证您的权益！联系电话：010-58612588 或 Email:editor@mmsonline.com.cn。