DataX
•DataX是離線數據同步工具/平臺，可以實現包括MySql,oracle，SqlServer等多種異構數據源之間高效的數據同步
•也可以實現多種數據庫遷移到表格存儲
•不影響業務的情況下，數據庫遷移，同步到表格存儲
–數據源讀取數據的reader插件
–目標寫入數據的是writer插件
–是json格式
•type：數據類型
•value:內容，print默認是flase
•name是不好更改的
啟動命令
運行成功命令
Mysql導入到hdfs中
mysql數據庫中的help_keyword表到hdfs的/datax目錄下（此目錄必須提前創建好）
•help_keyword是mysql內置的一張字典表
mysqlreader參數解析：
•【】參數為可選
hdfswriter參數解析：
•append；寫入不做任何處理，dataX hdfswriter直接使用filename寫入，並保證文件名不衝突
•nonConfict:如果目錄下有fileName前綴文件，直接報錯
q啟動命令：
python /opt/sxt/datax/bin/datax.py -r mysqlreader -w hdfswriter
–mysqlreader：要是oracle,就是oraclelreader
分享到:
關鍵字: 數據源 hdfswriter 數據庫
