ymcui/Chinese-LLaMA-Alpaca

win10的cmd输入不了中文吗?输入英文回答中文

wscsjnhboy opened this issue · 6 comments

ymcui commented

看一下这个issue:#11

看了issue用wsl可以跑,不过配置低太卡。半天挤出一丢丢字。如下
image

可以使用nodejs执行效率好很多,代码如下:
child_process = require('child_process')
child = child_process.spawn('D:\proj\llama.cpp-master\bin\main', [
'-m', 'D:\proj\llama.cpp-master\models\zh-models\7B\ggml-model-q4_0.bin',
'--color', '-f', 'D:\proj\llama.cpp-master\prompts\alpaca.txt', '-ins',
'-c', '2048', '--temp', '0.2', '-n', '256', '--repeat_penalty', '1.3'])
child.stdout.pipe(process.stdout)
child.stdin.setEncoding('utf-8')
process.stdin.pipe(child.stdin)

image

ymcui commented

感谢提供方案,已添加到FAQ#6

#106 此外,这个issue中 @YukinoshitaKaren 尝试了本issue中的方法,速度仍然较慢,我认为过早地Closed本issue。

经查,的确减少线程数量,有助于提高性能。增加参数: -t 4