本文介绍了如何使用SQL编写基本的ETL，而不在每次ETL运行时截断/加载？的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我有一个OLTP数据库，我正在使用SQL(ETL)将其加载到另一个数据库中。为此，在第二个数据库数据库中，我基于事实和维度创建了星型架构模型。技术：MS-SQL
事实：销售额
维度：客户、客户、代理
注意：源系统中没有修改日期字段，可以在源系统中删除行。
我有一个代理作业，它每15分钟运行一次，以执行以下操作：对于每个表，我将数据从OLTP数据库加载到相应的临时表中(对于每个维度和事实表)。然后将分段DIM表合并到DIM表中。然后更新分段事实表以包括维度的代理键。然后使用Merge将分段事实数据表与事实数据表同步。这很耗费资源，因为我必须在每次ETL运行时将整个数据加载到临时表中。因此，我正在寻找一种更好的方法--如果有人能告诉我如何做到这一点，这将对我有所帮助。推荐答案
这很耗费资源，因为我必须在每次ETL运行时将整个数据加载到临时表
- 在源代码中打开Change Tracking或Change Data Capture并仅提取更改的行
或
- 使用Transactional Replication从源到临时表或使用Read-Scale Replica或Log Shipping在DW服务器上创建可读副本。
这篇关于如何使用SQL编写基本的ETL，而不在每次ETL运行时截断/加载？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！
本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除！