文本文件剔重工具，在工作中我们总有一些文件会有重复内容，在文件比较多和比较大的时候，处理起来就比较麻烦，就写了个小工具，测试发现在文件在超过3000万行后，效率会很慢。- Text file deduplication tool, at work we always have some files have duplicate content in more and larger files when handling them more trouble, they wrote a smal