/datacleaner

datacleaner

Primary LanguageGo

数据清理入库工具

预处理

  1. 递归遍历解压
    • 压缩包里面又包含压缩包, 所以需要重复这个过程直到全部解压完毕
    • 解压同名问题, 如有t1.zipt1.rar, 应该解压成 ti_zipt1_rar文件夹,避免文件夹合并
  2. 清理解压失败的文件, 空文件夹, 垃圾数据等
    • 解压时会碰见压缩包数据损坏, 需要密码等情况,
    • 原文件夹中存在垃圾数据, 未下载完的数据等等, 不能正常使用的应该清理掉
  3. 清理相同的文件
    • sha1 后直接清理掉
  4. ? 优化文件路径
  5. ? 优化文件名称
  6. 字符集转换, 统一转换成 UTF-8 方便 io 读写和处理
  7. 构建文件元数据, 如 sha1 指纹, head, tail, content-format. create-time.

入库