myshell-ai/AIlice

error

Closed this issue · 12 comments

wzkzs commented

image

It looks like the embedding model weights failed to download. Are you in China? This is likely a network issue, and you may need a global proxy.

wzkzs commented

如何下载emedding model weights,之前可以用,更新了就用不了

它自动下载的.有时候huggingface服务临时不可用,会导致类似的问题.所以如果你确定自己全局代理没问题,不妨等几个小时再试.另外,如果你之前已经顺利执行过AIlice,那可能并非下载权重失败导致的,而单纯就是huggingface连不上导致的.似乎huggingface的库启动时都要连一下他的网络才能用,这点比较讨厌,但暂时不考虑解决,之后有更好的选择我们会把hf的库彻底移除.

wzkzs commented

它自动下载的.有时候huggingface服务临时不可用,会导致类似的问题.所以如果你确定自己全局代理没问题,不妨等几个小时再试.另外,如果你之前已经顺利执行过AIlice,那可能并非下载权重失败导致的,而单纯就是huggingface连不上导致的.似乎huggingface的库启动时都要连一下他的网络才能用,这点比较讨厌,但暂时不考虑解决,之后有更好的选择我们会把hf的库彻底移除.

今天看到这个了,好像是初始化失败。InitOpenRouterCfg() FAILED, skip this part and do not set it again.
image

这个正常,是因为openrouter临时不可访问导致的,除非你第一次运行就出现这个提示而且你要用openrouter,否则不影响使用.你之前的问题好了吧?

wzkzs commented

没有,两个问题都还在

有么有可能是你之前的版本比较旧,直接更新到了新版本而没有pip install呢?这段时间我把storage模块的内部重新实现了,并且添加了新依赖,不妨重新安装一下ailice试试.

wzkzs commented

有么有可能是你之前的版本比较旧,直接更新到了新版本而没有pip install呢?这段时间我把storage模块的内部重新实现了,并且添加了新依赖,不妨重新安装一下ailice试试.

pip install 了也不行,我回退到5月22日的版本可以用。
image

我修改了下代码,目前用主分支最新代码可以看到更详细的异常traceback了.不妨看看报错详情.
5.24号引入了llama.cpp作为storage模块的推理引擎,可能是llama.cpp运行出问题了.

wzkzs commented

我修改了下代码,目前用主分支最新代码可以看到更详细的异常traceback了.不妨看看报错详情. 5.24号引入了llama.cpp作为storage模块的推理引擎,可能是llama.cpp运行出问题了.

无法加载模型,我打印了一下路径,nomic模型文件是存在的
image
image

出问题环境的python和llama-cpp-python版本分别是多少?
感觉要么是模型权重有损坏(但无法解释为什么早期版本能用,可以删了权重文件重新下载看看);要么是llama-cpp-python有bug,这个库在快速发展,出bug倒是不少见,针对这点可以切换版本试试.

wzkzs commented

出问题环境的python和llama-cpp-python版本分别是多少? 感觉要么是模型权重有损坏(但无法解释为什么早期版本能用,可以删了权重文件重新下载看看);要么是llama-cpp-python有bug,这个库在快速发展,出bug倒是不少见,针对这点可以切换版本试试.

确实是llama-cpp-python版本的问题,我从0.1.68版本换到最新版可以用了