Replication–复制事务和复制命令

ROBOCOPY 命令:

–===============================================

  // 描述:

对复制一贯属于挂一漏万碌碌无为的情事,仅知道有个别浮泛,对不胜枚举细节尚未浓厚学习过,

    相比较 xcopy、copy
来说,复制的功能就强大很多,

假定不对之处,请各位大神批评指正。

      xcopy、copy
是单线程的,robocopy是二十多线程的,但是和一些正式的复制软件相比较速度依旧要少了一些。

*以下商量的依照事务复制,不考虑共同存款和储蓄进程的状态

    
 当然其参数也是最多的,想记都记不住 –_– ~

–===============================================

  //  语法:

当发表数据库上发出多少修改(增加和删除改)时,会将有关操作写入日志,以保障数据一致性,而对公布表上聚集索引的改动的日志会被标记为‘REPLICATE’。

    robocopy <source>
<destination> [<file> [ … ]]
[<optoins>]

图片 1

 

(PS:从上航海用图书馆中简单看出,在checkpoint时会记录复制相关的音信)

  // 选项:

标记为‘REPLICATE’的日志会被日志读取代理器读取,转换到复制业务和指令,然后写入到分发库中的表dbo.MSrepl_transactions和dbo.MSrepl_commands。

    挑选多得记不住,所以就径直复制得了:

为确认保证订阅服务器上的数额一致性,日志读取代理私下认可情状下不会将公布数据库中的事务拆分成八个业务存放到分发数据库(能够修改日志读取代理中的马克斯CmdsInTran暗许值来拆分大事务)

    
 那要用的时候如何是好呢?先记几个常用的就足以了,其余的直白在命令行下查就好了:

本着工作中期维修改的每一行数据生成一条或多条复制命令,尤其是对varchar(max)+xml+text等大字段操作(再度多谢肖磊)。

       
 —————————————

--=====================================
--插入一条数据,生成16条复制命令
INSERT INTO [TestDemo].[dbo].[TB5](C1,C2)
SELECT REPLICATE('AC',10000),1
--查看生成的复制事务和命令
SELECT * FROM dbo.MSrepl_transactions
SELECT * FROM dbo.MSrepl_commands T
WHERE T.xact_seqno=0x00000100000002BA0020

      robocopy /? | more

图片 2

     
 —————————————

 

     找到想要的精选之后 ,按 CT兰德PAJEROL + C 来终止就足以了。

暗中认可日志读取代理配置中,日志读取代理会以间隔5秒的功能查询宣布库日志(PollingInterval),各样处理周期从公布数据库的作业日志中读取至多500条工作。当公布服务器上运营大事务时,会促成单个处理周期读取过多事情日志,因而应尽量幸免对发表库做大事务修改(PS:大事务对订阅数据库也会导致影响)

 

PS:设置代理参数ReadBatchThreshold来支配单个处理周期读取最大的命令数(笔者没在生养服务器上设置过,但意识一片关于那么些装置的小说:http://connect.microsoft.com/SQLServer/feedback/details/478792/using-the-readbatchthreshold-parameter-in-logreader-agent-leads-to-slow-performance)

::
:: 复制选项:
::
/S :: 复制子目录,但不复制空的子目录。
/E :: 复制子目录,包括空的子目录。
/LEV:n :: 仅复制源目录树的前 n 层。


/Z :: 在可重新启动模式下复制文件。
/B :: 在备份模式下复制文件。
/ZB :: 使用可重新启动模式;如果拒绝访问,请使用备份模式。
/J :: 复制时使用未缓冲的 I/O (推荐在复制大文件时使用)。
/EFSRAW :: 在 EFS RAW 模式下复制所有加密的文件。


/COPY:复制标记:: 要复制的文件内容(默认为 /COPY:DAT)。
(复制标记: D=数据,A=属性,T=时间戳)。
(S=安全=NTFS ACL,O=所有者信息,U=审核信息)。



/SEC :: 复制具有安全性的文件(等同于 /COPY:DATS)。
/COPYALL :: 复制所有文件信息(等同于 /COPY:DATSOU)。
/NOCOPY :: 不复制任何文件信息(与 /PURGE 一起使用)。
/SECFIX :: 修复所有文件的文件安全性,即使是跳过的文件。
/TIMFIX :: 修复所有文件的文件时间,即使是跳过的文件。


/PURGE :: 删除源中不再存在的目标文件/目录。
/MIR :: 镜像目录树(等同于 /E 加 /PURGE)。


/MOV :: 移动文件(复制后从源中删除)。
/MOVE :: 移动文件和目录(复制后从源中删除)。


/A+:[RASHCNET] :: 将给定的属性添加到复制的文件。
/A-:[RASHCNET] :: 从复制的文件中删除给定的属性。


/CREATE :: 仅创建目录树和长度为零的文件。
/FAT :: 仅使用 8.3 FAT 文件名创建目标文件。
/256 :: 关闭超长路径(> 256 个字符)支持。


/MON:n :: 监视源;发现多于 n 个更改时再次运行。
/MOT:m :: 监视源;如果更改,在 m 分钟时间后再次运行。


/RH:hhmm-hhmm :: 可以启动新的复制时运行的小时数 - 时间。
/PF :: 基于每个文件(而不是每个步骤)来检查运行小时数。


/IPG:n :: 程序包间的间距(ms),以释放低速线路上的带宽。


/SL :: 对照目标复制符号链接。


/MT[:n] :: 使用 n 个线程进行多线程复制(默认值为 8)。
n 必须至少为 1,但不得大于 128。
该选项与 /IPG 和 /EFSRAW 选项不兼容。
使用 /LOG 选项重定向输出以便获得最佳性能。


/DCOPY:复制标记:: 要复制的目录内容(默认为 /DCOPY:DA)。
(复制标记: D=数据,A=属性,T=时间戳)。


/NODCOPY :: 不复制任何目录信息(默认情况下,执行 /DCOPY:DA)。


/NOOFFLOAD :: 在不使用 Windows 复制卸载机制的情况下复制文件。


::
:: 文件选择选项:
::
/A :: 仅复制具有存档属性集的文件。
/M :: 仅复制具有存档属性的文件并重置存档属性。
/IA:[RASHCNETO] :: 仅包含具有任意给定属性集的文件。
/XA:[RASHCNETO] :: 排除具有任意给定属性集的文件。


/XF 文件[文件]... :: 排除与给定名称/路径/通配符匹配的文件。
/XD 目录[目录]... :: 排除与给定名称/路径匹配的目录。


/XC :: 排除已更改的文件。
/XN :: 排除较新的文件。
/XO :: 排除较旧的文件。
/XX :: 排除多余的文件和目录。
/XL :: 排除孤立的文件和目录。
/IS :: 包含相同文件。
/IT :: 包含已调整的文件。


/MAX:n :: 最大的文件大小 - 排除大于 n 字节的文件。
/MIN:n :: 最小的文件大小 - 排除小于 n 字节的文件。


/MAXAGE:n :: 最长的文件存在时间 - 排除早于 n 天/日期的文件。
/MINAGE:n :: 最短的文件存在时间 - 排除晚于 n 天/日期的文件。
/MAXLAD:n :: 最大的最后访问日期 - 排除自 n 以来未使用的文件。
/MINLAD:n :: 最小的最后访问日期 - 排除自 n 以来使用的文件。
(If n < 1900 then n = n days, else n = YYYYMMDD date)。


/XJ :: 排除接合点和符号链接。(默认情况下通常包括)。


/FFT :: 假设 FAT 文件时间(2 秒粒度)。
/DST :: 弥补 1 小时的 DST 时间差。


/XJD :: 排除目录的接合点和符号链接。
/XJF :: 排除文件的符号链接。


::
:: 重试选项:
::
/R:n :: 失败副本的重试次数: 默认为 1 百万。
/W:n :: 两次重试间的等待时间: 默认为 30 秒。


/REG :: 将注册表中的 /R:n 和 /W:n 保存为默认设置。


/TBD :: 等待定义共享名称(重试错误 67)。


::
:: 日志记录选项:
::
/L :: 仅列出 - 不复制、添加时间戳或删除任何文件。
/X :: 报告所有多余的文件,而不只是选中的文件。
/V :: 生成详细输出,同时显示跳过的文件。
/TS :: 在输出中包含源文件的时间戳。
/FP :: 在输出中包含文件的完整路径名称。
/BYTES :: 以字节打印大小。


/NS :: 无大小 - 不记录文件大小。
/NC :: 无类别 - 不记录文件类别。
/NFL :: 无文件列表 - 不记录文件名。
/NDL :: 无目录列表 - 不记录目录名称。


/NP :: 无进度 - 不显示已复制的百分比。
/ETA :: 显示复制文件的预期到达时间。


/LOG:文件 :: 将状态输出到日志文件(覆盖现有日志)。
/LOG+:文件 :: 将状态输出到日志文件(附加到现有日志中)。


/UNILOG:文件 :: 以 UNICODE 方式将状态输出到日志文件(覆盖现有日志)。
/UNILOG+:文件 :: 以 UNICODE 方式将状态输出到日志文件(附加到现有日志中)。


/TEE :: 输出到控制台窗口和日志文件。


/NJH :: 没有作业标头。
/NJS :: 没有作业摘要。


/UNICODE :: 以 UNICODE 方式输出状态。


::
:: 作业选项 :
::
/JOB:作业名称 :: 从命名的作业文件中提取参数。
/SAVE:作业名称 :: 将参数保存到命名的作业文件
/QUIT :: 处理命令行后退出(以查看参数)。
/NOSD :: 未指定源目录。
/NODD :: 未指定目标目录。
/IF :: 包含以下文件。


::
:: 备注:
::
以前在卷的根目录上使用 /PURGE 或 /MIR 导致
robocopy 也对“系统卷信息”目录内的
文件应用所请求的操作。现在不再是这种情形;如果
指定了任何一项,则 robocopy 将跳过
复制会话简要源目录和目标目录中具有该名称的任何文件或目录。

一旦公布数据库上中国人民解放军海军事工业程大学业作变更相比频繁时,能够修改PollingInterval参数的值来下滑复制延迟(Paddy_张充在生养服务器上布置过)。过小的PollingInterval值会加重公布服务器负荷。

 

 

  //
注意事项:

当发布数据库上的事体日志被日志读取代理读取后,日志便能够由checkpoint或日志备份截断。

    robocopy
的回到代码:**
  **

 

值     说明
0    没有复制文件。 没有汇合任何故障。
没有公文不合作。 文件已存在于指标目录中; 由此,跳过了复制操作。
1    全部文件都已成功复制。
2    目的目录中有部分其它文件在源目录中不设有。
没有复制文件。
3    复制了一些文件。 别的文件存在。
没有境遇其余故障。
5    复制了一部分文书。 有个别公文不匹配。
没有赶上其余故障。
6    存在任何文件和不合作的文本。
没有复制文件,也从没赶上任何故障。
这意味着文件已存在于指标目录中。
7    
 文件被复制,存在文件不包容,并且设有别的文件。
8    多少个公文没有复制。

对此复制业务和复制命令,分发代理遵照安插参数CommitBatchSize(暗中同意100)和CommitBatchThreshold(默许一千)来将工作打包成一个bacth提交给订阅服务器(肖磊如是说:同时钦点CommitBatchSize和CommitBatchThreshold时,也会现出不到命令数和事务数就付给给订阅服务器),分发代理作业根据钦点的调度运转。

 

 

### 注意:

在散发服务器上,复制清理作业私下认可遵照每10分钟叁遍的频率执行,查找移除那么些无需保存的事情和指令。复制业务和复制命令会依据分发服务器质量设置中钦命“事务保持期”来存放在,当跨越最大事情保持期后,复制业务和复制命令会被排除,未共同的订阅会被标记为“过期”。

  // 怎么没有代码 4 ???

设若创制公布时未选用“马上开首化”(公布属性immediate_sync为false)时,复制业务和复制命令已传递给拥有订阅,且存放时间超越最小“事务保持期”,复制业务和复制命令便足以被复制清理作业删除。(PS:清理作业不会通晓最终一条工作工作及其有关命令)

      //  此外大于8的值表示在复制操作期间至少有二个未果。

 

    

–===================================================================

  // 实例:

MSDN 连忙通道

 

链接:http://msdn.microsoft.com/zh-cn/library/bb522755.aspx

    // 复击败务器中明天的的多少到移动硬盘上:

=====================================================================
日记读取器代理相关安排

    ———————————————————————————————————–

MaxCmdsInTran:number_of_commands
默认值:0
点名在日记读取器将下令写入到分发数据库时可分组到一个政工中的语句的最大数量。
假设使用此参数,在发布服务器上的大事务(蕴涵众多下令)应用于订阅服务器时,日志读取器代理和散发代理可将那一个大事务拆分为多少个较小的事情。
钦定此参数能够减掉分发服务器的争用难点并减少发表服务器与订阅服务器之间的滑坡时间。
由于初步工作是以较小的单元应用的,订阅服务器能够在始发工作截至在此以前访问2个较大的逻辑发表服务器业务的行,由此会损坏事务的原子性。
暗中认可值为 0,那将保持发表服务器的事情边界。

C:\Users\Administrator>robocopy “S:\用友备份\机关备份\ZT017”
“\\tsclient\G\备份\ERP\ZT017″  /e /maxage:1 /r:3 /tee
/log+:”d:\backup.txt”

PollingInterval: polling_interval
默许配置值:5秒
对日记实行已复制业务查询的功用(以秒计)。

 

ReadBatchSize:number_of_transactions
默认值:500
每一种处理周期从透露数据库的事务日志中读取的最大工作数目。代理不断读取批次中的事务,直到从该日记中读取全数事务结束。
Oracle 发表服务器不协助该参数。

日记文件: d:\backup.txt

ReadBatchThreshold:number_of_commands
默认值:0
在复制命令由分发代理发送给订阅服务器之前,从作业日志读取的复制命令的数量。
若是未钦赐此参数,日志读取器代理会向来读取完此日志,只怕读取到
-ReadBatchSize 中钦点的数字(事务数)结束。

 

==============================================================
分发复制代理相关布署
BcpBatchSize:bcp_batch_size
默认值:2147473647
在2遍大容积复制操作中发送的行数。 执行 bcp in
操作时,批的高低为要作为三个事务发送到服务器的行数,并且也是散发代理记录
bcp 进程新闻在此之前必须发送的行数。 当执行 bcp out 操作时,将采纳一定批大小
1000。


CommitBatchSize:commit_batch_size
默认值:100
发出 COMMIT 语句前要发放订阅服务器的事务数。

ROBOCOPY :: Windows 的笃定文件复制

 

千帆竞发时间: Fri Aug 17 16:56:52 2018

 

源: S:\用友备份\自行备份\ZT017\
目标: \\tsclient\G\备份\ERP\ZT017\

 

文件: *.*

 

选项: *.* /TEE /S /E /COPY:DAT /MAXAGE:1 /R:3 /W:30

 


 

0 S:\用友备份\机动备份\ZT017\
2 S:\用友备份\活动备份\ZT017\20180808\
2 S:\用友备份\机动备份\ZT017\20180809\
2 S:\用友备份\机关备份\ZT017\20180810\
2 S:\用友备份\自动备份\ZT017\20180811\
2 S:\用友备份\电动备份\ZT017\20180812\
2 S:\用友备份\自行备份\ZT017\20180813\
2 S:\用友备份\机动备份\ZT017\20180814\
2 S:\用友备份\活动备份\ZT017\20180815\
2 S:\用友备份\自动备份\ZT017\20180816\
新目录 2 S:\用友备份\机关备份\ZT017\20180817\
100% 新文件 2.0 g UFDATA.BAK
100% 新文件 345 UfErpAct.Lst

 


 

总数 复制 跳过 不匹配 失败
其他
目录: 11 1 10 0 0 0
文件: 20 2 18 0 0 0
字节: 20.823 g 2.094 g 18.729 g 0 0 0
时间: 0:08:22 0:08:21 0:00:00 0:00:01

 

速度: 4484937 字节/秒。
速度: 256.630 MB/分钟。

 

结束: Fri Aug 17 17:05:14 2018

    ———————————————————————————————————–

    参数表明:

      /e:
      包涵空目录和子目录。

      /tee: 
  在复制时在控制德雷斯顿可以看来详细的出口音讯,包蕴进程的百分比。那一个相比较好。

      /maxage:  最大的天命,约等于前有些天。假设数值高于一九〇〇,则用表示日期。如:
/maxage:20180817  则表示日期。而不是天意。

      /log+:   把出口追加到日志文件。

  

   // 复制钦赐的文件类型:

    ————————————————————————————————————-

    C:\Users\Administrator>robocopy “d:\Lofter”
“d:\a” *.txt *.xls  /e /tee

起来时间: 二零一八年八月117日 17:36:21
源: d:\Lofter\
目标: d:\a\

 

文件: *.txt
*.xls

 

选项: /TEE /S /E /DCOPY:DA /COPY:DAT /R:1000000 /W:30

 ……………………………………….

 ……………………………………….

总数 复制 跳过 不匹配 失败 其他
目录: 198 197 1 0 0 4
文件: 58 58 0 0 0 3
字节: 182.6 k 182.6 k 0 0 0 3.9 k
时间: 0:00:03 0:00:00 0:00:00 0:00:02

速度: 286880 字节/秒。
速度: 16.415 MB/分钟。
终止时间: 二零一八年5月1二十三十六日 17:36:25

 

    ————————————————————————————————————-

 

    // 复制不须要的文件:

    ————————————————————————————————————-

    C:\Users\Administrator>robocopy “d:\a”
“d:\b”  /e /xf *.tmp *.exe *.gif

    ————————————————————————————————————-

 

    //
复制钦赐文件大小的文本:
  

    ————————————————————————————————————-

C:\Users\Administrator>robocopy “d:\a” “d:\b” /e /min:1000
/max:5000


CommitBatchThreshold:commit_batch_threshold
默认值:1000
爆发 COMMIT 语句前要发放订阅服务器的复制命令数。

ROBOCOPY :: Windows 的可信文件复制

千帆竞发时间: 2018年6月1二二十二日 17:49:45
源: d:\a\
目标: d:\b\

文件: *.*

选项: *.* /S /E /DCOPY:DA /COPY:DAT /MAX:5000 /MIN:1000 /R:1000000
/W:30

  ………………………………………..

  ………………………………………..

总数 复制 跳过 不匹配 失败 其他
目录: 391 232 159 0 0 0
文件: 2465 249 2216 0 0 0
字节: 91.03 m 633.1 k 90.41 m 0 0 0
时间: 0:00:07 0:00:01 0:00:00 0:00:06

速度: 405969 字节/秒。
速度: 23.229 MB/分钟。
利落时间: 二〇一八年11月七日 17:49:53

 

    ————————————————————————————————————-

    参数:  

      min-max
:文件的蝇头到最大,单位是(byte)

 

     

    //
在钦定时间开头复制:

    ————————————————————————————————————-

C:\Users\Administrator> robocopy “d:\a” “d:\b” *.txt /e
/rh:1830-1900

 


MaxBcpThreads:number_of_threads
私下认可值:处理器数目标 2 倍,最大值为 8。
点名能够并行执行的大容积复制操作的多少。 同时设有的线程和 ODBC
连接的最大数量为 马克斯BcpThreads
或展现在散发数据库中联手事务中的大体量复制请求数中较小的那多少个。
马克斯BcpThreads 的值必须大于 0,并且不设有任何硬编码的上限。
应用于选取并发快速照相选项在颁发服务器上扭转的快速照相时,不管为 MaxBcpThreads
钦定了什么数值,都将运用二个线程。

ROBOCOPY :: Windows 的保障文件复制

 

开头时间: 二〇一八年四月1十二日 18:00:47
源: d:\a\
目标: d:\b\

 

文件: *.txt

 

选项: /S /E /DCOPY:DA /COPY:DAT /RH:1830-1900 /R:1000000 /W:30

 


 

小时: 在 18:00 时上马搁浅,直到 18:30…


 

    

    

    

    

  

MaxDeliveredTransactions:number_of_transactions
默认值:0
2回联合时期动用于订阅服务器的推送事务或请求事务的最大数额。 值为
0,表示最大值为无穷多少个事情。
订阅服务器可应用任何值减少从发布服务器请求的一块的持续时间。
借使MaxDeliveredTransactions设置为非0,就算订阅配置为连日来运转,在传递钦点数量的工作后,分发代理便会停下运转,须求重新手动运维。

PollingInterval:polling_interval
默认值:5 秒。

对散发数据库实行已复制业务查询的成效(以秒计)。

 惯例依然是大嫂

图片 3

 

图片 4

图片 5

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图