ETL遵循如下设计原则：
? 灵活性：不同的时间段中能够进行数据获取、转换、装载。 ? 可重复性：支持失败的ETL任务行数据重新装载。
? 模块化：ETL过程分步实施，每个过程通过不同的模块组件来完成。并尽可能
复用这些组件；从而提高ETL实施效率，增加数据仓库的可维护性。 ? 迭代方法：满足当前的业务需求，尽可能搭建满足未来的业务需求的平台上不
断开发实施。
? ETL逻辑顺序：依赖业务系统数据处理方式，来定义ETL处理流程控制。例
如：在银行的ETL过程中，交易记录信息的数据装载应该在账户信息进入数据仓库之后进行。
1.1.4.1 第一步：数据抽取
在源系统上启动数据抽取控制程序，完成以下工作： 1、数据采集
考虑到数据来源的多样性和复杂性，数据采集主要包括：
? 对业务系统的数据采集：在日终结后，当日数据自动、增量地转储到数据
备份机上，作为数据仓库的数据源并成为数据备份策略的一部分。 ? 对于税收计划、外部数据、纳税人财务报表的数据采集。可根据实际需要，
采用多种途径。
2、数据发送
在数据采集完成后，各系统上的抽取控制程序将数据文件和校验文件通过局域网发送到数据转换区。
1.1.4.2 第二步：数据装入转换区
1. 检查数据是否到位
根据校验文件，检查源系统数据是否到位、是否存在传输错误等异常情况。如果数据不全或传输出现错误，如果出错，将出错结果写入错误日志，重新执行
第一步。
2. 将外部数据文件装入数据库
把来自外部源数据源的格式化数据转化成数据库、表结构。 3. 修改系统状态：
待该步骤工作完成后，将系统状态改为抽取工作完成。
注：若直接从业务系统数据库中抽取数据，则无须数据转换区步骤。
1.1.4.3 第三步：数据质量检查和出错处理
1. 状态检查：
查询参数表，如果数据抽取工作已经完成，开始执行该步骤工作。 2. 数据质量检查：
根据检查规则，数据质量检查程序扫描源数据数据表，根据规则检查数据是否合法，给出检查报告和最终的数据质量报告并写入数据库，数据质量检查结果写入质量检查报告。 3. 出错处理：
如果出现严重出错，停止ETL工作，需要系统维护人员现场做出相应的处理，修改正确后，重新执行该步骤工作；对于警告级出错，继续进行下述步骤。 4. 修改系统状态：
待该步骤工作完成后，将系统状态改为数据质量检查工作完成。
1.1.4.4 第四步：数据转换
1、状态检查
查询参数表，如果数据质量检查工作已经完成，开始执行该步工作。 2、数据转换
根据数据仓库要求的数据源格式在Staging Area中进行并行转换处 将转换的结果数据存放在待装载数据存放区。 3、生成转换报告
理，并
记录数据转换情况，并写入数据库转换日志中。 4、修改系统状态：
待该步骤工作完成后，将系统状态改为数据转换工作完成。
1.1.4.5 第五步：数据加载
1、状态检查
查询参数表，如果数据质量检查工作已经完成，开始执行该步骤工作。 2、数据装入数据仓库
采用非依赖数据并行加载的策略，将待装载数据区的数据装入中心数据仓库，如果标准代码表发生变化，数据装载程序将标准代码的变化情况增量加载到数据仓库代码表中。 3、数据加载情况报告
记录数据加载情况，并写入数据仓库数据库的参数表中。 4、修改系统状态：
待该步骤工作完成后，将系统状态改为数据转换工作完成。
1.1.4.6 第六步：加载时间维
1. 状态检查
查询参数表，如果数据加载工作已经完成，开始执行该步骤工作。 2. 加载时间维
根据当前的时间，依据数据集市多维模型，完成时间维的加载工作。 3. 修改系统状态：
待该步骤工作完成后，将系统状态改为时间维加载工作完成。
1.1.4.7 第七步：加载事实表
1. 状态检查
查询参数表，如果时间维加载工作已经完成，开始执行该步骤工作。 2. 加载事实表
以数据仓库数据为数据源，依据数据集市多维模型，完成事实表的加载工作。 3. 修改系统状态：
待该步骤工作完成后，将系统状态改为事实表加载工作完成。
1.1.4.8 第八步：加载聚合表
1. 状态检查
查询参数表，如果事实表加载工作已经完成，开始执行该步骤工作。 2. 加载聚合表
以事实表为数据源，依据数据集市多维模型，完成聚合表的加载工作。 3. 修改系统状态：
待该步骤工作完成后，将系统状态改为ETL工作结束。
1.1.5 数据展现
数据访问及展现是通过信息门户，将各类数据集市应用通过统一的平台展现给财政各类用户。同时提供数据分析结果的表达、共享与传递的功能，是信息服务的主要界面，主要包括信息展现与人机交互、信息发布等。
本次的展现选择**的报表分析平台，详细功能见附件一。
1.2 数据架构设计
数据仓库的体系结构包括4 个层次的数据：数据源、数据仓库层和数据集市层。 1）
数据源（业务系统）包含面向操作应用的原始数据以及外部录入数据，主要服务于高性能的事务处理。 2）
数据仓库层（包括ODS 和DW）存储企业的历史数据，其数据是规范的、稳定的。 i.
数据仓库包含当前数据、综合数据、历史数据的组织和整理。通过数据抽取平台获取的各业务数据，从逻辑上和业务上是独立的、分散的，要实现一体化的查询功能，必须对分散的业务数据进行抽取和整合。如将分散的单位基础信息、预算数据、支出数据通过一定的策略，整理形成一套编码统一、业务连贯的数据体系，这是一体化查询系统成功的关键。
3）
数据集市层（包括Relational Data Mart 和Star-Schema Data Mart 和OLAP）是面向部门的、满足最终用户需求的数据，数据集市中的数据是反
百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说教育文库IBM数据仓库解决方案（简）(2)在线全文阅读。
相关推荐：