haruhi0000 / common-txt Goto Github PK
View Code? Open in Web Editor NEW超大文本去重工具
License: MIT License
超大文本去重工具
License: MIT License
一些提议
可以加 拖放文件 或文件夹进去 就不需要手选添加了
临时文件夹 和保留的文件的目录 可以保存记录在本地 不需要每次都重新设置了
去重复后 不需要 直接退出程序 每次都要重新打开
可以增加 多选文件 去重复后 合并 或者 分别保存
合并文件去重复 可以选择 正常 或者 组合
正常的就是 两个文件合并一起
组合就是 互相组合 A文件有 123 B文件有456 789 组合一起 123456 123789 这样
可以添加一些 可选项 自定义化操作
比如
字符串替换
删除自定义字符串
删除非ASCII码的行(就是乱码字符串
删除开头或者结尾空格
删除字符串中的空格
保留或删除纯数字
保留或删除纯字母
保留或删除纯特殊字符串
保留或删除汉字
去重复时可以选择 不区分大小写
写文件时可以全小写 或者 大写 或者首字母 大写 或小写 或者是反转大小写
可以选择第几位换大小写反转或者删除或者替换
可以增加一个写文件时 自定义 保留的字符串长度
比如 最短6位 最长8位 最短8位 最长10位( 这样可以精确筛选过滤
然后就是 换行符自定义 windows是 \r\n linux是\n 或者别的 | - 斜杠 横杠 逗号这些
有时候会碰到去重复的文件比较大 几百G这样子 保存文件时 可以 选择 需要分割文件保存
按行分割 多少多少行 或者是 容量 多少多少MB 还是GB 就换另外一个文件名保存
可以在第几位 添加字符串进去
保存文件时 自定义编码 一些常见的 gb2312 utf-8
最后就是保存文件的时候排序了 原本顺序 升序 降序 乱序
断续记录保存 就和断续下载一样 可以暂停 或者程序意外退出 电脑死机
可以重新打开程序 选择上个未完成的操作继续去重复
一些个人见解 加这些功能有一些难度和不少时间
如果加上这些功能这个软件就非常完美了
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
The Web framework for perfectionists with deadlines.
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
We are working to build community through open source technology. NB: members must have two-factor auth.
Open source projects and samples from Microsoft.
Google ❤️ Open Source for everyone.
Alibaba Open Source for everyone
Data-Driven Documents codes.
China tencent open source team.