WiKi-Error-Extract

***** Update 2022-03-04 *****

由于现在这个pipeline运行起来还是非常慢的，可以使用我抽取的结果：

建议用混淆集对错误做一下过滤。

同时修改了一下抽取逻辑，避免读写大量小文件。运行:

python code_dir/reader/divide_xml_revisions_new.py unzipped_file_path output_file_path 0.1

***** Update End *****

根据wiki history数据提取纠错的平行语料。这里只提取字是1-1对齐的语料，不考虑删减字的情况。需要的话自行修改代码即可。

步骤：

从wiki dumps中现在zhwiki有完整编辑历史的数据。我下载的是20211201中 All pages with complete edit history (.7z)格式的数据。
将所有7z文件放在同一个目录A下，在该目录下新建extracted目录。修改run/pipeline.py中对应目录地址。
在A目录下运行pipeline文件。python wiki-error-extract dir/run/pipeline.py
最终结果会在A目录下的stage5文件夹中。

例子

[{'src': '比如我把勾股定理叫做勾理定理，并不意味着我认为为它是**人最先证明的，而是"勾"股"弦"本来就是指直角三角形的三边。',
  'tgt': '比如我把勾股定理叫做勾股定理，并不意味着我认为为它是**人最先证明的，而是"勾"股"弦"本来就是指直角三角形的三边。'},
 {'src': '最后在反对杀局的民建联议员黄容根及临区局主席刘皇发在投票前「巧合」地失踪，而支持杀局的李国宝在投票前二十秒赶到等「戏剧化」情节下而令草案得到通过。',
  'tgt': '最后在反对杀局的民建联议员黄容根及临区局主席刘皇发在投票前「巧合」地失踪，而支持杀局的李国宝在投票前20秒赶到等「戏剧化」情节下而令草案得到通过。'},
 {'src': '禁止公众摄影图书馆 康文署拒放宽.', 'tgt': '禁止公众拍摄图书馆 康文署拒放宽.'},
 {'src': '上白礁谒祖祭典由**台南县学甲镇慈济宫所举行，于每年农历三月十一日举行，即当地所称上白礁活动，于当地将军溪畔「头前寮」举行祭典，隔海遥祭保生大帝祖庙，即**大陆福建白礁慈济宫。',
  'tgt': '上白礁谒祖祭典由**台南市学甲区慈济宫所举行，于每年农历三月十一日举行，即当地所称上白礁活动，于当地将军溪畔「头前寮」举行祭典，隔海遥祭保生大帝祖庙，即**大陆福建白礁慈济宫。'},
 {'src': '1980年后，改善分离的选择性成为色谱工作者的主要问题，人们越来越认识到改变流动相的组成事提高选择性的关键。',
  'tgt': '1980年后，改善分离的选择性成为色谱工作者的主要问题，人们越来越认识到改变流动相的组成是提高选择性的关键。'},
 {'src': '德国战车最大的缺点是生产速度慢，直到战终德国主力四号战车也仅生产九千多、五号豹式六千多部。',
  'tgt': '德国战车最大的缺点是生产速度慢，直到战终德国主力四号坦克也仅生产九千多、五号豹式六千多部。'},
 {'src': '由于过多贵格会信仰者居住于费城，因此费城人又称"贵格会信仰者"。',
  'tgt': '由于许多贵格会信仰者居住于费城，因此费城人又称"贵格会信仰者"。'},
 {'src': '进入校门，映入眼帘的即是建中的指标建筑红楼，其建于日治时期（1909年），目前已列入台北市市定古迹。',
  'tgt': '进入校门，映入眼帘的即是建中的指标建筑红楼，其建于日据时期（1909年），目前已列入台北市市定古迹。'},
 {'src': '2015年1月20日，该校一名姓陈17岁中五女生因担心迟到而追小巴，却被撞至阴道重创昏迷。',
  'tgt': '2015年1月20日，该校一名姓陈17岁中五女生因担心迟到而追小巴，却被撞至头部重创昏迷。'},
 {'src': '在1909年埃希纳·赫茨普龙是第一位提出天狼星是大熊座移动星团之一的人，他在观测天狼星系统在天空中的移动路径之后得出这个结论。',
  'tgt': '在1909年埃希纳·赫茨普龙是第一位提出天狼星是大熊座移动星群之一的人，他在观测天狼星系统在天空中的移动路径之后得出这个结论。'}]

xueyouluo/wiki-error-extract

WiKi-Error-Extract

例子