如何合并去重MySQL数据表
发表于:2024-10-11 作者:千家信息网编辑
千家信息网最后更新 2024年10月11日,这篇文章将为大家详细讲解有关如何合并去重MySQL数据表,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。场景:爬取的数据生成数据表,结构与另一个主表相同
千家信息网最后更新 2024年10月11日如何合并去重MySQL数据表
这篇文章将为大家详细讲解有关如何合并去重MySQL数据表,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。
场景:
爬取的数据生成数据表,结构与另一个主表相同,需要进行合并+去重
解决:(直接举例)
首先创建两个表pep,pep2,其中pep是主表
CREATE TABLE IF NOT EXISTS `pep/pep2`(`id` INT UNSIGNED AUTO_INCREMENT,`no` VARCHAR(100) NOT NULL,PRIMARY KEY ( `id` ))ENGINE=InnoDB DEFAULT CHARSET=utf8;
然后向pep中插入两条数据,pep2中插入一条与pep中相同的一条数据
insert into pep(no) values('abc');insert into pep(no) values('caa');insert into pep2(no) values('abc');
将pep2的数据插入pep中
insert into pep (no) select no from pep2;
分组去重创建新的临时表tmp
create table tmp select id,no from pep group by no;
注意:创建完这个表的id字段类型已经不是主键自增
可能也会报错 ```Syntax error or access violation: 1055 Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'XXX.Y.ZZZZ' which is not functionally dependent on columns in GROUP BY clause; this is incompatible with sql_mode=only_full_group_by ``` 解决:执行以下两个命令: ``` mysql> set global sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION'; mysql> set session sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION'; ```
删除pep表,并将tmp表重命名为pep
drop table pep;alter table tmp rename to pep;
查看desc结构和select * from pep发现id的字段类型变了,这里需要改回原来的类型;
alter table pep add primary key (id);alter table pep modify id int auto_increment;
还有可以使用join来做去重,更快的还可以添加一个字段(可以是几个字段+起来的的md5值),给这个字段创建一个唯一索引unique,以后插入数据的时候,自动回过滤掉重复的数据。
关于如何合并去重MySQL数据表就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
数据
字段
数据表
类型
相同
两个
内容
文章
更多
知识
篇文章
结构
不错
命令
场景
时候
更快
索引
质量
会报
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
全国dna打拐数据库比对
网络技术极限
平谷区软件开发要求
深圳1u服务器散热器供应商
中国网络安全手抄报图片
数据库安全审计 增强级
netty 数据库设置
csgo韩服服务器显示脱机
怀旧服服务器匕首
sf数据库怎么导入进去
壹佰软件开发小组
软件开发与设计有限公司
网络安全素材卡通
数据库表关系类型是
阿坝州网络安全宣传
存储服务器录像配置
同一首歌视频软件开发
软件开发专业转3d建模专业
软件开发适合用什么
手游nba2k20奖励服务器连接不上
电厂一般使用什么数据库
无锡常规软件开发价格表
sql数据库基础知识ppt
软件开发中设计阶段有哪些
服务器机房的电源品牌
组网与网络安全题目
网络安全和信息化主持词
软件开发与工程
软件开发文档书写
嘉定区标准网络技术服务代理商