子任务二 商业智能的系统架构

65841-00-014-2

微课1-1-2

商业智能需要将企业积累的大量数据处理成信息,再转化为知识,最后通过可视化方式将信息和知识展现给企业相关人员,便于企业进行商务决策。一个完整的商业智能系统架构体系包括数据获取层、数据管理层、数据分析层和数据展示层,如图1-1所示。

65841-00-014-3

图1-1 商业智能系统架构体系

1. 数据获取层

商业智能的基础是数据。获取什么样的数据及如何获取数据,是商业智能系统数据获取层的主要工作内容。

从数据来源看,数据获取层中的数据通常包括企业内部的数据和企业外部的数据。企业内部的数据包括来自财务系统、采购系统、销售系统、生产系统等ERP系统的数据,以及办公自动化系统(OA)的数据。企业外部的数据包括政策数据、市场数据、行业数据、竞争对手的数据、各类统计数据等。

从数据存储结构上看,数据获取层中的数据分为结构化数据和非结构化数据两种。结构化数据主要是以二维表格形式存储的数据。非结构化数据主要包括所有格式的办公文档、文本、图片、音频和视频文件等。

从数据存储形式上看,数据获取层中的数据包括.xlsx文件、.txt文件、.csv文件和各类数据库文件等。目前的商业智能系统都能直接读取并连接各种类型的结构化数据。

商业智能系统获取数据后,还要经过数据清洗操作。数据清洗是商业智能分析过程中重要的一个环节。

2. 数据管理层

数据管理层主要通过数据仓库和元数据(Metadata)管理方式实现对数据的管理。

经过ETL处理的数据被加载到数据仓库中。数据仓库是面向主题的,其中的数据按照一定的主题域进行组织。主题是指客户使用数据仓库进行决策时所关心的重要方面。一个主题通常与多个操作型信息系统相关。数据仓库是集成的,有些数据来自分散的操作型数据,系统需要将这些数据从原来的数据中抽取出来,进行加工与集成,然后才能进入数据仓库。数据仓库中的数据是在对原有分散的数据进行抽取、清理的基础上,经过系统加工、汇总和整理得到的。数据分析人员必须消除元数据中的不一致性,以保证数据仓库内的信息是关于整个企业的一致的全局信息。数据仓库的数据主要供企业决策分析之用,所涉及的数据操作主要是数据查询,一旦某个数据进入数据仓库以后,一般情况下都将被长期保留。也就是说,数据仓库中一般有大量的查询操作,但修改和删除操作很少,通常只需要定期加载、刷新即可。数据仓库中的数据通常包含历史信息,系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到当前各个阶段的信息。通过这些信息,管理人员可以对企业的发展历程和未来趋势做出定量分析和预测。

为了便于管理数据仓库中的数据,我们引入了元数据的概念。元数据是指在数据仓库建设过程中所产生的与数据源定义、目标定义和转换规则等相关的关键数据。同时,元数据还包含关于数据含义的商业信息,所有这些信息都应当妥善保存,并很好地管理,为数据仓库的发展和使用提供方便。

3. 数据分析层

数据分析层主要包括联机分析处理(Online Analytical Processing,OLAP)和数据挖掘(Data Mining,DM)两种分析工具。联机分析处理与数据挖掘是相辅相成的,它们都是进行决策分析不可缺少的工具。

联机分析处理是以海量数据为基础的复杂分析技术。它支持各级管理决策人员从不同的角度、快速灵活地对数据仓库中的数据进行复杂查询和多维分析处理,并且能以直观易懂的形式将查询和分析结果展现给决策人员。联机分析处理使用的逻辑数据模型为多维数据模型。数据挖掘是从海量数据中提取隐含在其中的、人们事先不知道但又可能有用的信息和知识的过程。数据挖掘的数据有多种来源,包括数据仓库、数据库或其他数据源。

从上述定义可以看出,联机分析处理是验证型分析工具,而数据挖掘是预测型分析工具。

4. 数据展示层

数据展示层主要是通过可视化技术将分析内容以各种图表的方式展示出来,供企业决策人员、管理人员、分析人员、业务人员等相关人员进行洞察和决策。可视化技术是以图像处理技术为基础,将数据转换为图形或图像形式,显示到屏幕上,并进行交互处理的理论方法和技术。它涉及计算机视觉图像处理、计算机辅助设计、计算机图形学等多个领域,并逐渐成为一种研究数据表示、数据综合处理、决策分析等一系列问题的综合技术。企业数据分析的内容包括利润分析、收入分析、成本分析、资产分析、运营分析、投融资分析等,需要展示哪些指标和内容,与企业战略、经营管理需要有密切关系。