千家信息网

请输入关键字词

热门搜索排行

最新搜索排行

导航： 首页 > 互联网科技 >

flink mysql数据接入的方法

发表于：2024-11-20 作者：千家信息网编辑
千家信息网最后更新 2024年11月20日，这篇文章主要讲解了"flink mysql数据接入的方法"，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习"flink mysql数据接入的方法"吧！一.a
千家信息网最后更新 2024年11月20日flink mysql数据接入的方法

这篇文章主要讲解了"flink mysql数据接入的方法"，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习"flink mysql数据接入的方法"吧！

一.api方式接入

1.添加依赖

com.alibaba.ververica

flink-connector-mysql-cdc

1.1 . 0

2.API代码

public static void main(String[] args) throws Exception {

SourceFunction sourceFunction = MySQLSource.builder()

.hostname( "localhost" )

.port( 3306 )

.databaseList( "test" )

.tableList( "test" )

.deserializer( new StringDebeziumDeserializationSchema())

.build();

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

env.addSource(sourceFunction)

.print().setParallelism( 1 );

env.execute();

}

二.sql方式接入

1.添加jar包至lib下

flink-sql-connector-mysql-cdc_1.1.0.jar

2.mysql中创建表

create table test(

id INT ,

name varchar (100),

description varchar (100),

weight DECIMAL (10,3)

)

3.创建元数据

CREATE TABLE mysql_test (

id INT NOT NULL ,

name STRING,

description STRING,

weight DECIMAL (10,3)

) WITH (

'connector' = 'mysql-cdc' ,

'hostname' = 'localhost' ,

'port' = '3306' ,

'username' = 'root' ,

'password' = 'root' ,

'database-name' = 'test' ,

'table-name' = 'test'

);

4.使用查询sql

SELECT id, UPPER ( name ), description, weight FROM mysql_test;

5.增加和删除表字段测试

增加不影响

删除表字段后，会出错

[ERROR] Could not execute SQL statement. Reason:
org.apache.kafka.connect.errors.DataException: name is not a valid field name

注：mysql的版本如果是8.0，flink端链接会出错

com.github.shyiko.mysql.binlog.network.AuthenticationException: Client does not support authentication protocol requested by server; consider upgrading MySQL client

出现上述问题的原因是：mysql8 之前的版本中加密规则是mysql_native_password,而在mysql8之后,加密规则是caching_sha2_password 把mysql用户登录密码加密规则还原成mysql_native_password

解决方案：在mysql中执行以下命令

alter user 'root'@'%' identified with mysql_native_password by 'root'; 修改认证规则

flush privileges; 刷新权限

感谢各位的阅读，以上就是"flink mysql数据接入的方法"的内容了，经过本文的学习后，相信大家对flink mysql数据接入的方法这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是，小编将为大家推送更多相关知识点的文章，欢迎关注！

很赞哦！
接入 数据 方法 规则 加密 学习 内容 字段 方式 版本 问题 代码 原因 命令 密码 就是 思路 情况 文章 方案 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 游戏数据库有地址是什么东西 网吧网络安全通知 沧州移动服务器地址 1000万用户服务器配置 企业内部计算机网络安全措施 上海数据库安全箱价目表 海丰平安网络安全 潮州软件开发公司怎么选 网络安全管理员英语作文 多点触摸软件开发 公共信息网络安全检查是什么 fm2022怎么设置数据库 李刚 网络安全 云服务器渲 怀旧服服务器如何升级 海信春季补招软件开发 数据表 数据库 软件开发性价比高的cpu 泉州护苗网络安全课2021 win数据库密码忘了怎么弄 社区疫情防控数据库 网络技术基础形成性考核 窗口管理器和x服务器通信 阿里云服务器怎么管理后台 java 数据库锁表 运维工程师一般管理多少台服务器 访问数据库出错 正规人工智能应用软件开发售价 网络服务器运行规则 软件开发区名单

相关文章

0