wxywb/history_rag

构建索引时报错,先前没有问题

Opened this issue · 7 comments

image
已经建立过一次索引,后来想载入更多数据的时候,发现建立索引报错。
运行指令build https://raw.githubusercontent.com/wxywb/history_rag/master/data/history_24/baihuasanguozhi.txt
将zilliz上已经建立的表history_rag删除也依然无法添加
image
想问下RuntimeError: {'code': 90019, 'message': 'Pipeline server error: call server failed, msg=internal error'}
服务器这个状态码是什么意思,官方文档没有提及错误码的相关含义(国际版zilliz)

ok,这个我明天尝试复现一下,zilliz cloud刚今天好有一些更新,可能一些接口有变更。

删除collection的时候要把对应的pipelines也全部删掉。

想问下为什么长度超了
RuntimeError: {'code': 90019, 'message': 'Pipeline server error: call server failed, msg=The document containing 1265500 tokens has exceeded the maximum tokens (280000) allowed for each ingestion. Please reduce the document length.'}
是不是更新了之后限制了token的长度
构建的还是/baihuasanguozhi.txt
跟之前构建的一样,但是现在长度有限制

是根据一些情况加了一些限制,但今天晚些时候应该会放宽。

现在应该可以了

现在应该可以了

build https://raw.githubusercontent.com/wxywb/history_rag/master/data/history_24/baihuabeishi.txt 仍然失败
RuntimeError: {'code': 90019, 'message': 'Pipeline server error: call server failed, msg=The document generates 3778 chunks has exceeded the maximum chunks (3500) allowed for each ingestion. Please increase the chunk_size or reduce the document length.'}

这个zilliz cloud好多限制,是没有充值的原因吗:(

@BetterAndBetterII 因为史书相对于日常上传的文件确实比较大,后续版本加入异步构建索引会把这个放开的(目前是同步接口,所以希望一次请求是在一定的时间内完成的)。