如何使用 Multicast Task 将数据同时写入多个目标表

开篇介绍

在 SSIS Data Flow 中有一个 Multicast 组件，它的作用和 Merge, Merge Join 或者 Union All 等合并数据流组件对比起来作用正好相反。非常直观，它可以将一个数据流平行分开成为多个数据流供下游其它 Data Flow 组件使用。

使用 Multicast Task 的几种情形

第一种，从同一个数据源中取出一部分数据直接放到 A 表中，一部分数据直接放到 B 表中。我曾经遇到一个370多列的一个文件，这370列的文件可以分出列数不等的7，8 张表。我最开始的做法是先将这个文件的数据 Load 到一个大表中，然后再从大表抽取不同的列到小表中，这样相当于形成了二次加载，效率不高，后来使用 Multicast 就可以一次性直接将 370 列宽的文件分散到不同的表中。

第二种，从数据源 A 抽取数据到 B，B 每次都会先 Truncate 一下，但是又需要备份一下每次从 A 抽取的数据，这个时候也可以使用 Multicast。在每次从 A 抽取数据的时候，通过 Multicast 使数据在导向 B 的同时也导向到 B 的备份表。

第三种，类似于第二种，不同的是没有备份表，但是需要保留加载的一些 Audit 信息数据。比如，从 Source 抽取数据到 Staging 的时候，同时需要记录一下抽取的行数，以及用来标示这批 Staging 数据中最大的时间戳，表名和列的名称。这样的话，下次加载数据到 Staging 的时候就只选择加载新增的 Source 数据，也就是上一批最大时间戳之后的新数据。

当然，同一种问题可能有不同的解决的方式，欢迎大家补充！

下面的示例演示一下第一种和第三种情形。

第一种 - 分散同一个 Source 表数据到多个目标表中

先从 TSQL2012 中抽取一部分测试的数据 （TSQL2012 是 Microsoft SQL Server 2012 High-Performance T-SQL Using Window Function 一书中的示例数据库），我们的 Source 表就是 SalesOrderSource。

USE BIWORK_SSIS
GO

IF OBJECT_ID('dbo.SalesOrderSource','U') IS NOT NULL
DROP TABLE dbo.SalesOrderSource
GO

SELECT *
INTO dbo.SalesOrderSource
FROM TSQL2012.Sales.Orders
WHERE orderdate < '2006-08-01'

SELECT * FROM dbo.SalesOrderSource

创建两个目标表，一个用来简单存储 Order 相关信息，一个用来简单存储 Ship 相关信息。

IF OBJECT_ID('dbo.SalesOrder','U') IS NOT NULL
DROP TABLE dbo.SalesOrder

IF OBJECT_ID('dbo.OrderShip','U') IS NOT NULL
DROP TABLE dbo.OrderShip

CREATE TABLE dbo.SalesOrder
(
   OrderID INT,
   CustID INT,
   EmpID INT,
   OrderDate DATETIME,
   CreateDate DATETIME DEFAULT(GETDATE())
)

CREATE TABLE dbo.OrderShip
(
   OrderID INT,
   ShippedDate DATETIME,
   Shipperid INT,
   freight MONEY,
   shipname NVARCHAR(40),
   CreateDate DATETIME DEFAULT(GETDATE())
)

创建连接管理器的过程就不多说了，新建一个 Data Flow Task, 然后创建一个 OLE DB Source 指向 SalesOrderSource 这张数据源表。

在 Columns 中选择只需要向下输出的列，减少不必要的数据传输。

（编辑：常州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!