千家信息网

请输入关键字词

热门搜索排行

最新搜索排行

导航： 首页 > 互联网科技 >

flink mysql数据接入的方法

发表于：2024-10-28 作者：千家信息网编辑
千家信息网最后更新 2024年10月28日，这篇文章主要讲解了"flink mysql数据接入的方法"，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习"flink mysql数据接入的方法"吧！一.a
千家信息网最后更新 2024年10月28日flink mysql数据接入的方法

这篇文章主要讲解了"flink mysql数据接入的方法"，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习"flink mysql数据接入的方法"吧！

一.api方式接入

1.添加依赖

com.alibaba.ververica

flink-connector-mysql-cdc

1.1 . 0

2.API代码

public static void main(String[] args) throws Exception {

SourceFunction sourceFunction = MySQLSource.builder()

.hostname( "localhost" )

.port( 3306 )

.databaseList( "test" )

.tableList( "test" )

.deserializer( new StringDebeziumDeserializationSchema())

.build();

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

env.addSource(sourceFunction)

.print().setParallelism( 1 );

env.execute();

}

二.sql方式接入

1.添加jar包至lib下

flink-sql-connector-mysql-cdc_1.1.0.jar

2.mysql中创建表

create table test(

id INT ,

name varchar (100),

description varchar (100),

weight DECIMAL (10,3)

)

3.创建元数据

CREATE TABLE mysql_test (

id INT NOT NULL ,

name STRING,

description STRING,

weight DECIMAL (10,3)

) WITH (

'connector' = 'mysql-cdc' ,

'hostname' = 'localhost' ,

'port' = '3306' ,

'username' = 'root' ,

'password' = 'root' ,

'database-name' = 'test' ,

'table-name' = 'test'

);

4.使用查询sql

SELECT id, UPPER ( name ), description, weight FROM mysql_test;

5.增加和删除表字段测试

增加不影响

删除表字段后，会出错

[ERROR] Could not execute SQL statement. Reason:
org.apache.kafka.connect.errors.DataException: name is not a valid field name

注：mysql的版本如果是8.0，flink端链接会出错

com.github.shyiko.mysql.binlog.network.AuthenticationException: Client does not support authentication protocol requested by server; consider upgrading MySQL client

出现上述问题的原因是：mysql8 之前的版本中加密规则是mysql_native_password,而在mysql8之后,加密规则是caching_sha2_password 把mysql用户登录密码加密规则还原成mysql_native_password

解决方案：在mysql中执行以下命令

alter user 'root'@'%' identified with mysql_native_password by 'root'; 修改认证规则

flush privileges; 刷新权限

感谢各位的阅读，以上就是"flink mysql数据接入的方法"的内容了，经过本文的学习后，相信大家对flink mysql数据接入的方法这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是，小编将为大家推送更多相关知识点的文章，欢迎关注！

很赞哦！
接入 数据 方法 规则 加密 学习 内容 字段 方式 版本 问题 代码 原因 命令 密码 就是 思路 情况 文章 方案 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 服务器ruide 怎么查网络服务器端口 数据库工程师笔记本 matlab一起画数据库 长寿区技术软件开发服务常见问题 云服务器一个月收费多少 垦利哨看网络技术有限公司 数据库 聚集索引 清科数据库行业报告 网页可上传文件给数据库 安全ftp服务器软件 数据库id取消自增 网络技术FTP试题 移动手机营业厅数据库连接异常 维斯易联打印机无法连接服务器 软件开发技术指导 泰山网络技术有限公司 网络安全演讲比赛主持人串词通用 深圳博达网络技术有限公司介绍 高青应用软件开发咨询 c nosql 数据库 巩固网络安全防线 苏州排忧网络技术 亿球通网络技术有限公司 唱吧软件开发成本 全国检察机关网络安全业务竞赛 mysql数据库配置地址 数据库安全性 怎么翻译 数据库设计财务管理需求分析 大专学网络技术专本贯通

相关文章

0