Python快速去重脚本是什么
发表于:2024-10-11 作者:千家信息网编辑
千家信息网最后更新 2024年10月11日,本篇内容介绍了"Python快速去重脚本是什么"的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!一、下载
千家信息网最后更新 2024年10月11日Python快速去重脚本是什么
本篇内容介绍了"Python快速去重脚本是什么"的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
一、下载pyhon脚本到本地
二、用法
1、必须python2环境
2、把去重的文件和该python脚本放到一起
3、新建几个有重复内容的文件,放到一个与python脚本不在一起的位置/root/123
4、修改python脚本
#coding=utf-8import sys, re, osdef file_merge(): input_path = "/root/123/" #此处填好自己的路径,注意最后的"/" #使用os.listdir函数获取路径下的所有的文件名,并存在一个list中 #使用os.path.join函数,将文件名和路径拼成绝对路径 whole_file = [os.path.join(input_path,file) for file in os.listdir(input_path)] content = [] #对于每一个路径,将其打开之后,使用readlines获取全部内容 for w in whole_file: with open(w,'rb') as f: content = content+f.readlines() #构造输出的路径,和输入路径在同一个文件夹下,如果该文件夹内没有这个文件会自动创建 output_path = os.path.join(input_path,'合并所有文件.txt') #将内容写入文件 with open(output_path,'wb') as f: f.writelines(content) def getDictList(dict): regx = '''[\w\~`\!\@\#\$\%\^\&\*\(\)\_\-\+\=\[\]\{\}\:\;\,\.\/\<\>\?]+''' with open(dict) as f: data = f.read() return re.findall(regx, data) def rmdp(dictList): return list(set(dictList)) def fileSave(dictRmdp, out): with open(out, 'a') as f: for line in dictRmdp: f.write(line + '\n') def main(): try: dict = '/root/123/合并所有文件.txt' out = '/root/123/去重所有文件.txt' except Exception, e: print 'error:', e me = os.path.basename(__file__) exit() dictList = getDictList(dict) dictRmdp = rmdp(dictList) fileSave(dictRmdp, out) if __name__ == '__main__': file_merge() main()
5、python2 quchong.py运行脚本,会在/root/123目录下生成去重文件
6、工作原理
将当前目录下所有文件合并为一个文件:合并所有文件.txt,对该文件进行去重,最终生成去重所有文件.txt,该文件就是最后想要的文件。
"Python快速去重脚本是什么"的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注网站,小编将为大家输出更多高质量的实用文章!
文件
脚本
路径
内容
函数
文件名
文件夹
更多
目录
知识
生成
输出
实用
学有所成
接下来
位置
原理
困境
实际
就是
数据库的安全要保护哪些东西
数据库安全各自的含义是什么
生产安全数据库录入
数据库的安全性及管理
数据库安全策略包含哪些
海淀数据库安全审计系统
建立农村房屋安全信息数据库
易用的数据库客户端支持安全管理
连接数据库失败ssl安全错误
数据库的锁怎样保障安全
太原升腾服务器厂家直销
服务器联机不知道房间号咋办
保证银行数据库的安全
关于网络安全性的图片
玩吃鸡如何变更服务器
广东质量软件开发收购价格
江苏智能软件开发技术指导
软件开发从立项到申报
服务器无线一直是禁用状态
如何利用家用宽带搭建服务器
网络安全罚款区间
100兆宽带能不能接服务器
数据通信与ip网络技术题库
天津亚凯网络技术
数据库插入日期的sql语句
增城网络安全建设怎么样
数据库工程师每天都干啥
怎样启动数据库服务
青岛正远软件开发有限公司
云服务器系统哪种好
对口升学网络技术试题及答案
emqx服务器端口
虚拟仿真实验软件开发合同
官方认证的网络安全培训机构
通信设备软件开发具体指什么
服务器机柜温度
张店hr软件开发公司
数据库表如何导入到数据库
武汉中世网络技术
百度软件开发者是谁