DataX

DataX的技术

•DataX是离线数据同步工具/平台,可以实现包括,oracle,SqlServer等多种异构数据源之间高效的数据同步

•也可以实现多种数据库迁移到表格存储

•不影响业务的情况下,数据库迁移,同步到表格存储

 

–数据源读取数据的reader插件

–目标写入数据的是writer插件

–是json格式

•type:数据类型

•value:内容,print默认是flase<为true是打印控制台< span="">

 

•name是不好更改的

 

启动命令

 

运行成功命令

 

Mysql导入到hdfs中

mysql数据库中的help_key表到hdfs的/datax目录下(此目录必须提前创建好)

•help_keyword是mysql内置的一张字典表

mysqlreader参数解析:

 

•【】参数为可选

hdfswriter参数解析:

 

•end;写入不做任何处理,dataX hdfswriter直接使用filename写入,并保证文件名不冲突

•nonConfict:如果目录下有fileName前缀文件,直接报错

q启动命令:

/opt/sxt/datax/bin/datax.py -r mysqlreader -w hdfswriter

–mysqlreader:要是oracle,就是oraclelreader

胜象大百科