批量导入
Closed this issue · 5 comments
需求描述:
支持批量导入 csv 文件中的全部信息。
demo 数据如下:
名字,电话,简介
小a,13812345678,
小b, 025-88991234, 高中同学
格式详细说明与字段校验:
- 前 n 行是注释或文件头,跳过不解析。demo 数据中是前 1 行。
- 第一列为姓名,不能为空。
- 第二列为电话号码,不能为空,仅包含数字和 -。建议使用正则表达式校验,后续优化正则的严格性。
- 第三列为简介信息,可以为空。
处理流程。
正常场景:
用户调用接口 A 试图导入csv文件。
A 对文件进行解析,做数据预处理。主要是合法性校验和格式化。
A 将格式化后的数据传递给接口 B, B 实现数据写入。
异常场景及其处理:主要涉及名字重复时的处理方式。
- 电话也重复。不论brief信息是否相同,不插入,不变更原数据。
- 电话不重复。若brief不为空且信息相同,则按照为已有individual增加电话处理。
- 电话不重复。若brief均不为空,且信息不相同,则按照新增idividual处理。插入名字、电话、brief信息,生成 uid。
- 电话不重复。至少一个brief 为空,与用户进行交互,请用户确认采用上述的哪种处理方式。
具体任务:
接口A 主要负责文件解析、字段校验和格式化。
接口B 主要负责数据写入。
** 先实现接口B,包括正常场景和 4 种异常场景的处理。 **
接口的传入参数使用指向函数的指针,用于处理与用户的交互行为。
该交互行为可能发生在命令行、前端web页面、或其他交互界面中。
例如:
insertmany(data, *op_when_error)
电话号码还有字符串的校验,最好你在python做了,c的字符串处理功能还是没有python强的,功能是可以实现,不过代码量肯定比python大,你在抓页面的时候,存在文件里面的数据,格式保证正确就可以,c的接口直接读你的文件,然后写入数据库,或者你在python端直接写入数据库,还是cvs是什么格式的文件,你抓下来的数据最好存在json里面,这样我解析起来更方便了,用了json就不用烦什么解析,校验,格式化了。你看看你的想法是什么。我们再交流。
- 字符校验,我用python写。我调用你的接口写入数据库。给你传 json 格式的数据。
- c 提供接口的方式。接口无需涉及文件读写的操作。测试用例中,自己构造标准 json 数据测试通过即可。非标准数据返回error(此处error均只错误信息,不特指error字符串)
这样还是我们最早的分工原则:c 只负责提供底层数据库读写接口,将标准格式的数据写入数据库。
校验类的工作,均有python实现。
能否说下你phthon端从页面抓取的数据都有哪些?
字段跟现在处理的保持不变,依旧只涉及 name, phone, brief.
调用db的接口时,只传 name,phone,brief三个字段。
其中,name和phone从页面解析,二者均不为空且合法,否则丢弃该条记录。
对于重名的,会要求用户输入brief。如果重名且用户拒绝输入,默认brief是人人网的ID
如果不重名,默认brief为空。
我调整抓取到的字段来适配底层的接口。
后面增加字段时,底层要提供新的接口的,到时候在具体讨论新增字段的格式、内容和处理方式。
done, 5efbf85