gangly/datafaker

数据重复问题

Bearzzzzz opened this issue · 3 comments

在linux平台安装的datafaker,经过验证,当数据量超过20条之后,就很容易产生重复数据,执行指令和结果如下图所示:
企业微信截图_16052562491799
经过重复验证分析发现:
1.重复的记录大部分所有字段都完全一样,也有部分重复记录的个别字段值是不同的
2.最初的三条记录一定重复
元数据定义如下:
企业微信截图_16052556934958

发现了,当worker设置为1的时候不会出现重复的问题,可以看到一开始生成的四条数据(有一条输出在了最后一行)都是重复的,怀疑是多线程导致的。但是在数据量较大的情况下,就没法通过多线程造数了,这样造数的耗时就比较长了。
用pypy来执行指令会报错:/usr/bin/pypy:No modul named datafaker

这个我看看

cml26 commented

是的,我的也出现了这个数据重复的问题