/DataDeduplication

DataDeduplication

Primary LanguagePython

DataDeduplication

一个很简单的数据去重脚本

  • 把连续几行相同的数据变成单行数据+括号的形式
  • 之后会根据数据处理需求做扩展

Use

python3环境

python DataDeduplication.py inputfile outputfile