5行Python代码操作txt文本对txt文本内容进行去重

很早之前对txt文本内的重复内容进行去重操作，就是直接Ctrl+F直接在编辑器工具里查找，实在是很浪费时间，工作量又特别大。后来在百度搜索在线的去重网站，对文本中的内容进行去重。在线去重网站有个弊端，文本内的数据内容会被在线去重网站记载，会造成自己重要的数据泄露，昨天摸索写出了《用Python查找txt文本某个关键词并保存到另一个文本中》后，还有最为重要的一个问题就是如果txt文本中有重复的内容，需要对文本内的重复内容进行去重，今天花了几分钟将这个功能实现了，只需要5行Python代码就实现了操作txt文本对txt文本内容进行去重

具体5行Python代码操作txt文本对txt文本内容进行去重代码如下：

# -*- encoding:utf-8 -*-
"""
@作者：李涛
@文件名：文本去重.py
@时间：2021/8/28  18:10
@文档说明:
"""
#设置一个保存文件函数txt_out,打开out.txt，并给予其写入权限，如果out.txt不存在的时候就新建out.txt
txt_out = open(r'out.txt','w',encoding='utf8')
#设置一个txt_read变量，打开所需要去重的文本并给予读取权限，并设置字符集编码为utf8格式。
txt_read = open(r'ss.txt','r',encoding='utf8')
#设置一个list_read变量，将txt_read变量（即ss.txt）转换为列表形式并对列表内的重复内容进行去重。
list_read = list(set(txt_read))
#循环输出打印去重后的列表元素，并将打印的结果保存写入到txt_out变量中。
for i in list_read:
    print(i,file=txt_out)

测试ss文本内容截图：

去重后保存的out文本中的内容截图：

简单的5行Python代码就实现了对txt文本中的重复内容进行去重，主要是使用了去重函数set().感觉Python在文本去重这方面和Php比较，Python代码十分简洁。人生苦短，我用Python.加油学习！明天哪怕学习一点点，也不能不学习。