/YakuYaku-XPU

翻译姬：致力于小众领域的机器翻译

Primary LanguagePython

此变体：

添加XPU（Intel-GPU）支持

修改API默认使用llama.cpp默认值

合并添加翻译进度条支持

基于YakuYaku-llm ae8ca20修改

部署 for Windows

安装显卡驱动

安装Intel显卡torch开发包0.5.3.37

活化开发包环境

"C:\Program Files (x86)\Intel\oneAPI\pytorch-gpu-dev-0.5\oneapi-vars.bat"
"C:\Program Files (x86)\Intel\oneAPI\ocloc\2024.2\env\vars.bat"

安装Pytroch

预览版

pip3 install torch --index-url https://download.pytorch.org/whl/test/xpu

夜间版

pip3 install --pre torch --index-url https://download.pytorch.org/whl/nightly/xpu

安装其他依赖

pip install -r requirements.txt

启动

call "C:\Program Files (x86)\Intel\oneAPI\pytorch-gpu-dev-0.5\oneapi-vars.bat"
call "C:\Program Files (x86)\Intel\oneAPI\ocloc\2024.2\env\vars.bat"

python YakuYaku.py

Models

台版轻小说翻译模型v1.2（日本語 → 繁體中文）

台版轻小说翻译模型（large）v1.0（日本語 → 繁體中文）

A better practice on the same dataset produced by @SakuraUmi

台版轻小说翻译模型v1.0（繁體中文 → 日本語）

轻小说翻译模型（测试版）（日本語 → 한국어）

Sakura-13B-LNovel

Run server.py in SakuraLLM/Sakura-13B-Galgame

python server.py \
    --listen "127.0.0.1:5000" \
    --model_name_or_path "SakuraLLM/Sakura-13B-LNovel-v0.8" \
    --trust_remote_code \
    --model_version 0.8 \
    --use_gptq_model \
    --no-auth