我要评论
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事it行业的老鸟或是对it行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
什么是etl
etl是extract-transform-load的缩写（提取-转换-载入），是一个完整的从源系统提取数据，进行转换处理，载入至数据仓库的过程。
我们从联机事务数据库中提取数据，进行转换处理，匹配数据仓库模式，然后载入至数据仓库数据库中。
在通常情况下，大多数的数据仓库要整合非联机事务数据库系统的数据，例如来源文本文件、日志、电子表格等等。
下面我们一起看看etl是怎么工作的。
例如一个公司，有关于其不同部门的数据记录，销售、市场、物流等等。每个部门所处理的客户信息是独立的，而且存储的数据也是相对不同的，假如销售团队有存储客户的姓名，而物流团队存储的是用户 的id。
现在我们想要去检查客户的历史数据，并且想要了解他/她在不同的营销活动中购买的不同产品是什么。这将是一项非常枯燥的工作。
该解决方案就是使用数据仓库应用统一的结构来存储经过etl处理过的不同源的数据。
etl能够转换不同结构/类型的数据集为统一的结构,以便后续使用bi工具生成有意义的分析和表报。
下面我们看一下etl过程完整的流程图：
etlprocess.png
- extract
提取有效的数据 - transform
- 将提取的数据转换为数据仓库模式/格式
- 构建keys：一个key是一个或多个数据属性的惟一标识实例，key的类型可以是主键(primary key)、外键(foreign key)、替代键(alternate key)、复合键(composite key)以及代理键(surrogate key)。这些key只允许数据仓库进行维护管理，且不允许其他任何实体进行分配。
- 数据清理：在提取好数据后，则进入下一个节点：数据清理。对提取的数据中的错误进行标识和修复。解决不同数据集之间的不兼容的冲突问题，使数据一致性，以便数据集能用于目标数据仓库。通常，通过转换系统的处理，我们能创建一些元数据（meta data）来解决源数据的问题，并改进数据的质量。
- load
- 将转换后的数据载入数据仓库
- 构建聚集：创建聚集对数据进行汇总并存储数据至表中，以改进终端用户的查询体验。
什么是etl测试
etl测试是为了确保从源到目的地数据经过业务转换完成后是准确的。
同时它还涉及数据的验证，即从源到目的地数据各个不同阶段验证数据。
etl是extract-transform-load的缩写。
etl测试过程
与其他测试过程类似，etl也需要经历不同的测试阶段。其流程如下：
etltestingprocess.png
etl测试过程主要分为以下五大阶段：
- 分析需求、业务和源数据
- 获取数据
- 实现业务逻辑和维度建模
- 构建和填充数据
- 生成报告
etl测试类型
- production validation testing
该类型的etl测试是在数据迁移至生产系统时进行的。为了保证生产业务的正常运营，生产系统中的数据必须以正确的顺序进行排序。在该etl测试类型中要注意从数据层面进行自动化测试和管理能力的植入。 - source to target testing（validation testing）
该类型的测试主要元组转换的数据是否满足预期的转换目标 - application upgrades(升级测试)
该类型的etl测试是可以自动生成的，能节省大量的测试开发时间。主要检查旧应用或存储库中提取的数据是否与新的应用或新的存储库中的数据完全相同。 - metadata testing（元数据测试）
元数据测试包括数据类型检查、数据长度和索引/约束检查。 - data completeness testing（数据完整性测试）
当把所有期望的数据从源加载到目标地时，就算完成了数据完整性测试。在数据完整性测试过程中，我们还可以进行一些简单的转换或无转换的源与目标之间的计数、聚合和实际数据比较和验证的测试。 - data accuracy testing(数据准确性测试)
该类型测试验证数据正确的完成加载和按预期目标进行转换。 - data transformation testing(数据转换测试)
测试数据转换是一个复杂的过程，并不是简单的写一个源sql查询并与目标进行比较来实现的。可能需要为每个行运行多个sql查询，来验证转换规则 - data quality testing（数据质量测试）
数据质量测试包含语法和基准测试。为了避免在业务过程中由于日期或唯一编号（例如订单号）引起的错误，进行数据质量测试。
- 语法测试：根据无效字符、字符模式、不正确大小写、顺序等出具脏数据测试结果
- 基准测试：基于数据模型检查数据，例如客户id数据质量测试，包含：数字检查、日期检查、精度检查、数据检查、零校验等等
- incremental etl testing（增量etl测试）
该类型测试主要验证旧数据和新数据的完整性，并添加新数据。增量测试验在增量etl过程中，插入和更新是否满足预期的要求。 - gui/navigation testing
该类型测试主要检查生成的大数据报告的ui\导航方面是否正常
怎么创建etl测试用例
etl测试是一个可以应用于信息管理领域中不同工具和数据库的概念。
etl测试的目的是确保在业务转换完成后从源加载到目的地的数据是正确无误的。
etl测试同样还涉及在源和目的地之间转换时的各个阶段的数据的验证。
在从事etl测试时，有两份文档是elt测试人员实时使用的：
- etl映射表：一个etl映射表包含源和目的地表的所有的信息，包括每个列及其引用表等约束关系。etl测试人员需要更为优美的sql查询语句，因为在etl测试各阶段可能需要编写具有多个连接的大查询来验证数据。etl映射表在为数据验证编写查询时提供大量的有用的信息。
- 源、目标数据库模式：该模式应该便于验证映射表中的所有细节。
etl测试场景和测试用例
| 序号 | 测试场景 | 测试用例 |
|---|---|---|
| 1 | mapping doc validation(映射文件验证) | 验证映射文件是否提供了响应的etl信息，且每个映射文档的更新日志有记录 |
| 2 | validatioin（验证） | 1. 根据对应的映射文件验证源与目的地数据仓库的表结构2. 验证源和目标数据的类型一致3. 验证源和目标数据的长度一致4. 验证数据字段类型和格式是指定的类型5. 验证源的数据类型长度不应小于目标数据类型长度6. 针对映射表对数据表的列的名称进行验证 |
| 3 | 约束验证 | 验证目标表中的约束关系满足我们的期望设计 |
| 4 | 数据一致性问题 | 1. 要防止语义定义相同，但特定属性的数据类型和长度不一致的问题2. 防止完整性约束滥用 |
| 5 | 完整性问题 | 1. 要确保所有期望的数据都已经完整的加载到目标表中2. 要比较源和目标数据的个数（即确保计数上的完整）3. 检查出现的任何不合格的记录4. 检查目标表列中的数据没出现被截断的情况5. 对边界值进行分析检查6. 要检查比较目标数据仓库和源数据的关键字段的唯一性 |
| 6 | 正确性问题 | 1. 数据要没有拼写错误或不准确的记录2. 无null、非惟一或超出范围的数据记录存在 |
| 7 | 转换 | 验证转换逻辑的正确性 |
| 8 | 数据质量 | 1. 数值型验证，验证是否为数值类型2. 日期型验证，验证是否为日期格式，并且在所有日期类型数据的格式应该统一3. 精度验证，小数点的精度要满足期望的精度4. 数据检查：检查数据的正确性，完整性5. null检查 |
| 9 | 拷贝验证 | 1. 验证目标表中业务要求所有惟一性指标均正确的实现（例如主键、惟一标识的键、或其他任一惟一表示的列）2. 验证从源数据多列合并而成的数据是正确的3. 验证仅仅根据客户要求对源数据进行了多列合并至目标表中 |
| 10 | 日期验证 | 日期是etl开发过程中常用的数据，主要用于：1. 了解数据行创建的日期2. 用于识别活动记录3. 根据业务需求透视表确定活动记录4. 便于基于时间插入、更新记录 |
| 11 | 数据完整性验证 | 在验证源和目标表中的数据集的完整性时，我们需要用到交集运算，以确定目标数据的完整性 |
| 12 | 数据清理 | 对于不需要的列在载入至数据仓库前应该进行删除 |
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
一个人可以走的很快，但一群人才能走的更远！不论你是正从事it行业的老鸟或是对it行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
不再深入研究，那么很难做到真正的技术提升。**
一个人可以走的很快，但一群人才能走的更远！不论你是正从事it行业的老鸟或是对it行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
发表评论