我早上安装好的，中午关机，晚上打开，回答的就特别慢。。。是什么原因？
Opened this issue · 5 comments
我早上安装好的，中午关机，晚上打开，回答的就特别慢。。。是什么原因？
有QQ群可以请教吗？
D:\role\env\lib\site-packages\rwkv\model.py:1138: UserWarning: operator () profile_node %157 : int = prim::profile_ivalue(%155)
does not have profile information (Triggered internally at C:\actions-runner_work\pytorch\pytorch\builder\windows\pytorch\third_party\nvfuser\csrc\graph_fuser.cpp:108.)
x, state[i3+0], state[i3+1] = ATT(
Exception in callback _ProactorBasePipeTransport._call_connection_lost(None)
handle: <Handle _ProactorBasePipeTransport._call_connection_lost(None)>
Traceback (most recent call last):
File "D:\role\env\lib\asyncio\events.py", line 81, in _run
self._context.run(self._callback, *self._args)
File "D:\role\env\lib\asyncio\proactor_events.py", line 162, in _call_connection_lost
self._sock.shutdown(socket.SHUT_RDWR)
ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。
经常这个提示。。。。。。
D:\role\env\lib\site-packages\rwkv\model.py:1138: UserWarning: operator () profile_node %157 : int = prim::profile_ivalue(%155)
does not have profile information (Triggered internally at C:\actions-runner_work\pytorch\pytorch\builder\windows\pytorch\third_party\nvfuser\csrc\graph_fuser.cpp:108.)
x, state[i3+0], state[i3+1] = ATT(
这一部分的问题倒是不用管，不碍事儿。
但是下面的老实说我还有点看不太出来，但是有几个地方你可以排查一下，比如端口（我默认使用的是7860）有没有被占用，比如sd webui也会使用这个端口，还有你使用的模型是哪一个？
至于回答特别慢的话，我不太确定你有没有使用--cuda_on这个参数，将这个参数设置为1的话可以让生成速度变快。
至于回答特别慢的话，我不太确定你有没有使用--cuda_on这个参数，将这个参数设置为1的话可以让生成速度变快。
我用的是12B的模型，CUDA是我环境变量没设置。。。。。。。7860 9000 都没被占用，防火墙也是关的，
12B的模型我倒是也试过，没见报错，要不你再多贴一些报错的log，让我再琢磨琢磨。