DataX
•DataX是離線數據同步工具/平臺,可以實現包括MySql,oracle,SqlServer等多種異構數據源之間高效的數據同步
•也可以實現多種數據庫遷移到表格存儲
•不影響業務的情況下,數據庫遷移,同步到表格存儲
–數據源讀取數據的reader插件
–目標寫入數據的是writer插件
–是json格式
•type:數據類型
•value:內容,print默認是flase
•name是不好更改的
啟動命令
運行成功命令
Mysql導入到hdfs中
mysql數據庫中的help_keyword表到hdfs的/datax目錄下(此目錄必須提前創建好)
•help_keyword是mysql內置的一張字典表
mysqlreader參數解析:
•【】參數為可選
hdfswriter參數解析:
•append;寫入不做任何處理,dataX hdfswriter直接使用filename寫入,並保證文件名不衝突
•nonConfict:如果目錄下有fileName前綴文件,直接報錯
q啟動命令:
python /opt/sxt/datax/bin/datax.py -r mysqlreader -w hdfswriter
–mysqlreader:要是oracle,就是oraclelreader