Datax离线数据抽取的实现方法是什么

本篇内容主要讲解"Datax离线数据抽取的实现方法是什么"，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习"Datax离线数据抽取的实现方法是什么"吧!

1.下载安装Datax软件(必须安装jdk 1.8版本以上)

[root@localhost ~]# tar xvf jdk-8u65-linux-x64.tar.gz

[root@localhost ~]# mv jdk1.8.0_151 /usr/local/jdk1.8.0_151

[root@localhost ~]# vim /etc/profile

export PATH=$PATH:/usr/local/jdk1.8.0_151/bin

[root@localhost ~]# vim /etc/ld.so.conf.d/mysql-x86_64.conf

/usr/local/jdk1.8.0_151/lib

[root@localhost ~]# tar xvf datax.tar.gz

[root@localhost ~]# cd datax/job/

2.编辑配置文件(首先用kettle将表结构同步过去)

[root@localhost job]# vim job1.json

{    "job": {        "setting": {            "speed": {                "channel": 5            }        },        "content": [            {                "reader": {                    "name": "oraclereader",                    "parameter": {                        "username": "upcenter",                        "password": "upcenter",                        "column": ["*"],                        "connection": [                           {                              "table": ["STOCK_CONC"],                              "jdbcUrl": ["jdbc:oracle:thin:@192.168.7.7:1521:upqc"]                           }                        ]                    }                },                "writer": {                    "name": "mysqlwriter",                    "parameter": {                        "writeMode": "update",                        "username": "wangying",                        "password": "wangying",                        "column": ["*"],                        "connection": [                            {                               "jdbcUrl": "jdbc:mysql://172.16.8.93:3306/db_stktag",                               "table": ["t3"]                            }                        ]                      }                    }                }        ]    }}

[root@localhost job]#

3.数据抽取

[root@localhost job]# python2 /root/datax/bin/datax.py job1.json

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !

Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.

2019-01-29 14:23:53.177 [main] INFO VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl

2019-01-29 14:23:53.186 [main] INFO Engine - the machine info =>

osInfo: Oracle Corporation 1.8 25.151-b12

jvmInfo: Linux amd64 3.10.0-123.el7.x86_64

cpu num: 8

totalPhysicalMemory: -0.00G

freePhysicalMemory: -0.00G

maxFileDescriptorCount: -1

currentOpenFileDescriptorCount: -1

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

2019-01-29 14:24:04.012 [job-0] INFO JobContainer -

任务启动时刻 : 2019-01-29 14:23:53

任务结束时刻 : 2019-01-29 14:24:04

任务总计耗时 : 10s

任务平均流量 : 176.48KB/s

记录写入速度 : 4047rec/s

读出记录总数 : 40475

读写失败总数 : 0

[root@localhost job]#

4.验证数据

mysql> select count(1) from t3;

+----------+

| count(1) |

+----------+

| 40475 |

+----------+

1 row in set (0.03 sec)

mysql>

到此，相信大家对"Datax离线数据抽取的实现方法是什么"有了更深的了解，不妨来实际操作一番吧！这里是网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！