5行Python代码操作txt文本对txt文本内容进行去重
- 2021年8月28日
- 3,442 次
很早之前对txt文本内的重复内容进行去重操作,就是直接Ctrl+F直接在编辑器工具里查找,实在是很浪费时间,工作量又特别大。后来在百度搜索在线的去重网站,对文本中的内容进行去重。在线去重网站有个弊端,文本内的数据内容会被在线去重网站记载,会造成自己重要的数据泄露,昨天摸索写出了《用Python查找txt文本某个关键词并保存到另一个文本中》后,还有最为重要的一个问题就是如果txt文本中有重复的内容,需要对文本内的重复内容进行去重,今天花了几分钟将这个功能实现了,只需要5行Python代码就实现了操作txt文本对txt文本内容进行去重
具体5行Python代码操作txt文本对txt文本内容进行去重代码如下:
# -*- encoding:utf-8 -*-
"""
@作者:李涛
@文件名:文本去重.py
@时间:2021/8/28 18:10
@文档说明:
"""
#设置一个保存文件函数txt_out,打开out.txt,并给予其写入权限,如果out.txt不存在的时候就新建out.txt
txt_out = open(r'out.txt','w',encoding='utf8')
#设置一个txt_read变量,打开所需要去重的文本并给予读取权限,并设置字符集编码为utf8格式。
txt_read = open(r'ss.txt','r',encoding='utf8')
#设置一个list_read变量,将txt_read变量(即ss.txt)转换为列表形式并对列表内的重复内容进行去重。
list_read = list(set(txt_read))
#循环输出打印去重后的列表元素,并将打印的结果保存写入到txt_out变量中。
for i in list_read:
print(i,file=txt_out)
测试ss文本内容截图:
去重后保存的out文本中的内容截图:
简单的5行Python代码就实现了对txt文本中的重复内容进行去重,主要是使用了去重函数set().感觉Python在文本去重这方面和Php比较,Python代码十分简洁。人生苦短,我用Python.加油学习!明天哪怕学习一点点,也不能不学习。
若非作者标注皆为李涛自留地原创文章,转载或复制请以超链接形式并注明出处。
- 安装Python解释器及测试是否安装成功 2021-07-28
- PHP array_keys() 函数详解:获取数组键名的 N 种姿势 2026-07-02
- pip安装太慢怎么换源?三类镜像与超时参数 2026-11-22
- PHP数组去重函数array_unique()怎么用 PHP数组去重函数使用实例 2022-11-14
- python安装错了怎么改?先确认pip指向的解释器路径 2026-11-19
- Python如何将两个列表的元素合并为字典? 2021-11-15
