商业智能解决方案

1建设背景

1.1意义

       在企业信息化建设中，数据作为一种战略性资源，体现出越来越重要的作用。通过对数据的分析和应用，实现由数据向信息，由信息向知识，由知识向智慧的转变。
       以用户入口、数据入口、应用入口为核心功能体系的基础数据管理及共享平台建设是企业信息化建设的基础，只有将数据有机的整合和管理，才能进一步为企业信息化建设提供强有力的支持，是实现数据共享，提供深层次数据挖掘，数据分析的重要基础。

1.2面临问题

1.2.1 数据标准不统一

       企业信息化建设部门缺少对信息系统建设的统一规划，在建设初期，未能制定统一的信息系统建设标准以及信息系统元数据标准。所以在制定统一标准之前，各业务部门或分中心，依据各自的业务需求，设计信息系统建设标准和数据标准，所以造成了企业信息化建设中，数据标准的不一致，存在数据项表示不统一、缺乏可选项以及数据字典丢失等现象，导致在数据共享平台建设中，不能有效地分析各数据库的表结构，以及在数据传输过程中出现匹配错误等现象。

1.2.2存在数据孤岛问题

       在企业信息化建设阶段，各个业务系统依据各自需求，建设业务应用系统，可以支撑本单位的实际需求和部门应用。但从数据共享的角度来看，由于各个业务系统之间缺少统一的数据格式和交换接口，导致各业务信息系统变成了部门级的数据孤岛，虽然部分数据，可以通过直接传输或者拷贝的形式实现业务数据与其他业务系统的交换和共享，但是仍然不能实现数据的及时共享，部分数据由于建设标准不一致或者缺乏数据标准的原因，根本不能实现和其他业务系统之间的数据共享，突显了业务数据的孤岛问题。

1.3应对方案

1.3.1统一标准规范

       统一的标准规范包括统一的数据标准、第三方接入标准、数据传输和交换标准等相关标准。
       这些标准的制定主要的依据有：国家标准、行业标准以及自定义标准。

1.3.2数据存储（EDW）

      基于统一的数据标准，分析各个业务部门的数据字典，了解其数据库结构，根据现有数据表的基本构成和执行数据标准，得出各个信息系统的数据表结构以及与中心数据库的关联互换关系，逐渐构建出企业各个环节过程中的所需的主题库和数据集市，最终形成企业数据仓库。

1.3.3数据分析和数据可视化

利用数据分析和数据挖掘技术手段，从各个维度、各个层面、各个角度充分展示和分析企业现状以及相关问题，为管理部门和决策者提供简便快捷的网络化信息服务。

2整体设计

2.1整体架构

2.2技术架构

      基于总体架构把产品从技术架构上拆分成5大区域 

源数据区：业务数据大多存储在第三方在建或已建的系统中，数据格式以及访问方式也各有差别。
数据采集区：把零散的数据和存储在目前应用系统中的数据通过统一的技术手段集中到数据仓库中。数据转换区：对业务数据进行清洗、转换、对比、汇聚、交换等处理。
数据存储管理区：构建基础数据库以及各类专题库。
数据服务区：提供数据的报表服务、多维分析服务、数据可视化服务以及数据挖掘服务。
数据应用区：对外提供数据分析服务和数据挖掘分析服务。
需要构建的系统如下：

序号	子系统名称	对应区域	构建方式
1	数据采集系统	数据采集区	Smartbi数据采集模块
2	数据交换清洗整合	数据转换区	基于开源产品（可选）
3	数据仓库	数据存储管理区	基础数据库管理（可选）
4	数据分析平台	数据服务区	Smartbi数据分析模块
5	数据发布	数据应用区	Smartbi数据发布模块

3 标准规范体系             

       信息标准规范包括信息集、代码集、规范类等内容的制定，参考国家标准、部颁标准（或行业标准）使用的代码标准。

3.1数据标准规范

数据标准规范包括：公共数据元标准、公共代码标准、公共数据存取规范、数据交换规范。

3.2技术标准规范

通过技术标准规范支持业务部门系统和数据共享平台之间的数据级和应用级整合，并提高业务系统之间的应用集成、互联互通的能力。

3.3 管理标准规范

管理标准规范包括：标准管理、安全管理、数据管理、项目管理，用于指导数据中心日常运行管理、数据维护管理。

3.4 业务标准规范

独立的业务标准规范由业务部门制定，关联业务标准由数据共享平台统筹，协调各业务部门联合制定。

4 建设内容

4.1 数据采集系统（smartbi）

        数据采集的工作就是把零散的数据和存储在目前应用系统中的数据通过统一的技术手段集中到数据仓库中。
       对于零散类的数据采用数据采集系统，支持Excel填报导入以及在线填报两种方式收集对于存储在应用系统中数据，也可以采用ETL工具或通系统对接的方式，从业务系统中进行数据的抽取。

       进行数据分析时需要大量的数据，但很多数据并不在企业内部，或者内部信息系统并没有覆盖，例如市场数据、竞争对手数据等。Smartb能够简便的将Excel数据导入数据仓库。
       数据采集有时需要团队多人协作完成，例如大型企业中多个下级单位向上级单位报送数据，社会化机构或协会要求成员单位上报数据等。Smartbi能够处理大规模、多组织、多用户、流程化的数据采集工作，能够规范用户的填报内容、保证数据质量；能够隔离各单位数据、分配权限；实现数据的暂存、审核、回退等流程管理功能，大大提高团队数据采集的工作效率。

4.1.1. 灵活定制填报项目

       用户填报的内容可能会不时变换，例如增加一个全新的填报项目，增加、删除一个填报字段，借助Smartbi强大的表单功能，用户可以灵活的定制填报的内容。通过B/S结构的定制界面定制表单模板，实现各种版式的定义包括：单行文本框控件、多行文本框控件、下拉列表框控件、单选框控件、复选框控件等。

                                            图：表单填报示意图                                                                                                  图：调查问卷示意图

4.1.2 自主导入数据

       数据仓库系统通常由专业机构、IT部门建立并维护，但通过IT部门添加数据的流程漫长，手续复杂。通过Smartbi，非技术用户可以自主在仓库中建立数据表、插入数据，随心工作，提升效率。
       Smartbi可以对导入的数据进行校验，屏蔽垃圾数据，保证数据质量。

4.1.3 多组织多用户的规模化填报

       协调组织、任务安排、工作监督是多组织数据填报的管理要点，否则工作难以推动。Smartbi具有多级权限管理的功能，下级单位能够自我管理，自行分配用户、角色、智能，上级单位的管理负担轻，只需监督执行即可，避免了推诿扯皮的管理陷阱，大幅提高团队工作效率。

       在产品的售前、实施项目中，经常会有客户提出流程化的数据填报审核需求。为了满足不同项目不同客户的数据填报审核需求，Smartbi产品新增了DataAuditing功能，它通过图形化的配置界面，将流程与数据填报报表关联在一起，并按业务需求设计审核步骤，减少项目实施的工作。
       DataAuditing的审核流程，主要针对企事业单位的数据填报审核需求，支持简单数据填报审核流程和多级汇总审批流程，并且支持用导入的。

                                                                                                         图：简单填报流程

4.2 数据交换清洗整合系统（可选）

       数据交换清洗整合（ETL）系统是基于开源的KETTLE来进行构建的，其集数据抽取、清洗、转换及加载于一体，通过标准化各个业务系统产生的数据，向数据中心/仓库提供可靠的数据，实现部门内的应用和跨部门的应用的业务数据间单向整合、双向整合和多级数据共享，进而为实现商业智能、数据挖掘、应用集成、正确决策分析等提供必要的数据支撑。

4.3 数据仓库（可选）

       基于统一的数据标准，分析各个业务部门的数据字典，了解其数据库结构，根据现有数据表的基本构成和执行数据标准，得出各个信息系统的数据表结构以及与中心数据库的关联互换关系，逐渐构建出企业生产和运营各个环节过程中的所需的主题库和数据集市，最终形成企业数据仓库。

4.3.1 信息标准

     略….(参照标准规范体系)

4.3.2 数据存储

数据采集、数据发布、数据共享、数据交换、公共服务以及决策支持均以主题和专题的方式进行，因此必须实现对主题和专题进行存储设计。主题和专题是元数据的集合。

4.3.3 数据库管理

数据库管理需要考以下几个方面：
A、安全性管理：数据仓库中的用户只能访问到他的授权范围内的数据，数据在传输过程中的加密策略。
B、备份和恢复：数据仓库的大小和备份的频率直接影响到备份策略。
C、可用性：通过硬件或者软件的方式来保证数据仓库系统的可用性，。
D、数据老化：设计数据仓库中数据的存放时间周期和对过期数据的老化方法，如历史数据只保存汇总数据，当年数据保存详细记录。

4.3.4 元数据管理

元数据（Metadata）是关于数据的数据。元数据描述了数据的结构和意义，同时也可以描述应用程序和流程的结构和意义。构造数据仓库的重要步骤之一，就是定义和创建元数据。
元数据管理贯穿于整个系统的建设过程中，元数据是描述数据的数据。
在数据采集阶段，元数据主要包括下列信息：
A、源数据的描述定义：类型、位置、结构。
B、数据转换规则：编码规则、行业标准。
C、目标数据仓库的模型描述：星型/雪花模型定义，维/事实结构定义。
D、源数据到目标数据仓库的映射关系：函数/表达式定义。
E、代码：生成转换程序、自动加载程序等。
在数据管理阶段，元数据主要包括下列信息：
A、汇总数据的描述：汇总/聚合层次、物化视图结构定义。
B、历史数据存储规则：位置、存储粒度。
C、多维数据结构描述：立方体定义、维结构、度量值、钻取层次定义等。
在数据展现阶段，元数据主要包括以下信息：
A、报表的描述：报表结构的定义。
B、统计函数的描述：各类统计分析函数的定义。
C、结果输出的描述：图、表输出的定义。
元数据不但是独立存放，而且对用户是透明的，标准元数据之间可以互相转换

4.4数据分析系统（smartbi）

       基于通过数据交换采集到的海量行业数据，利用数据分析和数据挖掘技术手段，从各个维度、各个层面、各个角度充分展示和分析企业现状以及相关问题，为企业决策者和管理者提供简便快捷的网络化信息服务。

4.4.1 仪表盘（smartbi）

       仪表盘（Dashboard）是Smartbi 的重要组件，通过使用图形、仪表盘、预警等方式，监控、分析关键指标、业务目标，帮助您的企业发展，保持与战略的步调一致。Dashboard旨在让您了解整个企业的业务活动，使您能够让用户以个性化的方式来监控KPI、衡量KPI，管理预警和异常。
       Dashboard是非常直观的管理驾驶舱（Management Cockpit），将企业的决策与管理量化为一套可执行的绩效体系，使企业管理系统进入一个新的领域，为管理层提供“个性化”和“一站式”（One-Stop）的绩效监控和分析系统。

4.4.2 大屏幕

       数据大屏幕相对于仪表盘，信息量进一步集中，弱化交互性，强化炫酷的展示效果，传统上需要大量开发投入。Smartbi 支持非常灵活的布局、样式和图形效果，并且设计、上线速度极快，在美观效果与开发效率上都有优秀表现。

4.4.3 图形可视化

       Smartbi 集成Echart作为基础图形控件，提供（堆积）柱状图、（堆积）横条图、散点图、（堆积）面积图、折线图、组合图、瀑布图、饼图、环形图、南丁格尔玫瑰图、油量图、散点图、泡泡图、雷达图、关系图、热力图、词云图等一系列图形效果。
       并可以通过电子表格作图完成更为复杂的图形设计，如：甘特图、山形图、手风琴图、子弹图、小又多图、迷你图、漏斗图、进度图、复合饼图、多层饼图等。以及对表格设置条件格式（数据条、色阶、图标集）。

 

4.4.4 地图分析

       企业数据中往往包含有丰富的地理信息，这些带有“地域性”或“区域性”特征的信息往往对企业管理的提升带来重大的影响。
       借助于地理信息技术，地图分析功能让用户非常直观地监控不同地区的业务发展和绩效情况。地图区域采用不同颜色进行显示、或在地图区域上放置不同颜色的旗帜，决策层可以清楚了解企业的战略执行，并通过在地图上实现下钻操作及联动图形，探索问题的根源，增强洞察力。

Smartbi在原有染色地图类型的基础上，加入了全新的动态图表！如航线地图、热力地图、泡泡地图及散点地图。

此外地图分析还内嵌了百度地图，用户可以快速制作基于精确地理坐标信息（如经纬度）的数据地图：

4.4.6 企业报表

       Spreadsheet（电子表格）是企业报表平台的解决方案专家，创新的基于Office Excel实现报表设计，满足各种格式的行业监管报表、内部管理报表的需求。包括：清单报表、交叉报表、分组报表、多源分片报表、分块报表、表单报表、图形报表、回写报表、假设分析报表、二次计算报表、套打报表、段落式报表、预警报表（Excel条件格式）、组合报表（智能评语）。
Spreadsheet是企业级报表平台的最佳选择：
²  “0”编程——仅需简单的鼠标拖拉，即可实现统一的内部管理报表平台，特别是支持中国式的电子表格，完全可视化的设计。
²  “0”编程——仅需简单的鼠标拖拉，即可实现统一的对外监管报表平台，包括银监会“1104工程”监管报表、人民银行大集中数据报送监管报表等等。

电子表格的特性：
²  Excel是用户最熟悉的办公软件，有着最友好的UI操作体验
²  支持Excel的单元格计算、行列锁定、数据有效性等各种常用功能
²  支持Excel的条件格式（数据条、图标集、色阶）功能
²  支持Excel所有函数，例如财务函数、统计函数、逻辑函数、三角函数等
²  支持杜邦分析、时间序列预测等，并可以使用宏进行扩展
²  支持使用第三方Excel模板，如美化大师，来对表格和图形进行美化
²  报表制作充分简化，直接将数据字段拖拽到Excel模板上，发布即可。
在Excel环境（插件）制作的报表，发布后统一在Smartbi门户中展现，无须额外插件，并且支持报表浏览、数据导出、报表打印等功能。

4.4.7 分析报告

       团队需要分享、沟通，数据分析师需要将数据洞察、分析结果分享给企业领导、团队同事、大众媒体及更多的利益相关方，Word/PowerPoint仍然是最常见的分享形式。通过Office-Addin分析报告插件，数据分析师可以轻松的将Smartbi中的分析结果的融入日常办公中。
       数据分析师需要做定期的报告，例如每周、每月的市场营销报告、财务绩效报告、行业数据报告等等，以往这些报告耗时耗力，Smartbi能够极大的简化工作、提高效率。使用同一份模板，定期的分析报告只需要修改日期条件，几分钟内就能得到一份全新的报告。
       Smartbi提供一体化的闭环工作方式，数据分析师可以利用Smartbi的数据集、透视分析报表、多维分析报表等资源，完成分析过程，将数据的洞察结果变为简洁的报表、美观的图形。Word/PPT安装Office-Addin插件后，可以登录Smartbi服务器，查看分析结果，将表格、图形插入Office中。


       Smartbi支持报告模板功能，数据分析师可以制作格式固定，但具体内容可变的Office模板，每周、月制作报告时，只需要修改报告月份、日期等条件，就能快速制作一份全新的报告，大大提高工作效率，告别复制黏贴的苦力活。同时能够结合产品的计划任务功能，做到报告定时生成与发送。

4.5 数据发布（smartbi）

随着信息化时代的来临，时间成本对于企业的重要性也越来越高，在重要时刻的及时反应甚至可以帮助企业获得更多的回报率，而“移动办公”也已经成为了企业管理者乐于见到的主流办公方式。
Smartbi Insight Mobile是产品在移动平台上展现功能的组件。通过它可以在iOS和Android系统上为企业员工和客户展示电子表格、KPI(关键绩效指标)、文档和仪表盘。不仅仅是静态查看，所有的图形、图表、仪表盘、地图、表格都是可交互的，简单的触摸，让您在掌间随意查看和分析业务数据。
Smartbi Insight Mobile分为服务器端和本地终端两部分。在服务器端，基于Smartbi Insight之上的扩展应用，在平台核心组件的基础上针对移动终端设备提供独立的数据展现。在本地终端部分，通过APP方式进行数据发布与交互；提供了统一的移动应用功能：门户展示、报表浏览、离线存储和离线浏览等功能。

4.5.1 支持多种设备

支持iOS和Android的主流的移动设备，基本覆盖市面上主流产品，并在每种移动设备上以本地应用的方式提供。

Smartbi Insight Mobile为用户提供人性化设计的功能和良好的用户体验。
提供缩略图预览功能，让用户无需打开报表即可了解报表内容。


页面大小随屏幕横向自适应，应用登录地址与PC登录地址保持一致，快捷简便。


用户还可以在页面的任意位置绘制图形或添加注释，并可以通过邮件将注释的内容发送给他人，从而实现信息的同步与共享。


Smartbi Insight Mobile支持离线浏览功能。通过离线操作将页面内容本地化形成一份或多份离线文件，保存到当前移动设备上，在没有网络的情况下依然可以通过浏览离线文件来获取报表信息。在离线浏览模式下，同样可以进行页面钻取、联动、跳转、更改查询条件等交互式分析，获得与在线模式同样的用户体验。

4.5.2 移动应用集成

产品具有强大的集成能力，所有的前端界面都符合标准HTML5规范，能够方便无缝与已有的Web应用或者移动端应用进行集成。

4.5.2.1 企业号集成

对于许多大型机构来说，部署大量的APP会使用户感觉麻烦，而最简洁的解决办法就是将APP集成到微信的企业号中。Smartbi Insight支持通过简单的界面设置就将产品集成到企业号上使用。

4.5.2.2 协同BI

协同决策提供工作圈分享、实时评论、组建讨论组、在线会议等功能，让用户可以在Smartbi Insight中进行多人多团队决策、提高决策精准度。

4.5.3 安全性保障

       针对设备和用户密码的双重访问控制。提供统一的权限管理机制，所有试图连接 Smartbi Insight Server的移动设备，都需要申请和登记，系统会记录设备唯一标志，只有符合条件的设备才能够登陆系统。因此，就算企业外部人员安装了Smartbi Insight Mobile应用，并且配置了指向企业内部服务器的连接，由于该设备不在认证列表中，该用户无法获取到访问服务器。
       登陆Smartbi Insight Server时，都要求校验用户凭证，如果用户名和密码不正确，则拒绝来自该设备的连接访问。因此，就算企业外部人员安装了 Mobile应用，并且配置了指向企业内部服务器的连接，由于该设备未登记或不能正确输入用户凭证，该用户无法获取到服务器上的任何信息。
       所有通信都必须经过防火墙。可以通过多层防火墙建立两个隔离区域，一个用于保护Web服务器，另一个用于保护企业数据仓库。
       数据访问的单点监控。 Mobile 和Web允许管理员指定哪些端口用于服务器之间的通信，而其他端口则会被防火墙禁止，由此降低端口暴露风险。
       没有外部RMI或RPC调用。采用HTTP与Server进行通讯，避免RMI或RPC调用引起的安全风险。
       传输安全。对于 BI平台组件之间的通信，采用HTTPS技术传输，确保信息安全。即使在客户没有使用HTTPS的情况下，移动设备和服务器之间的传输也都进行加密。
        用户凭证存储保护。对于存储在元数据库中的敏感用户存储凭证信息，不直接存储密码明文，而是在对密码进行单向Hash算法加密之后再进行存储。
       用户授权机制。Smartbi Insight通过用户管理控制用户功能权限、数据访问权限、资源访问权限。支持按用户、用户组、角色进行管理。