hfd脚本默认使用wget,为了能更快下载,推荐使用aria2c工具 相比于huggingface提供的hfd工具修改过之后的方法(1)不需要CA证书验证(原来的方法必须要CA,否则无法使用);(2)可以指定下载目录
- 下载tar.gz包:
wget https://github.com/aria2/aria2/releases/download/release-1.37.0/aria2-1.37.0.tar.gz
aria2 - 解压缩:
tar -zxvf aria2-1.37.0.tar.gz
- 修改配置
cd aria2-1.37.0 vim configure # 找到prefix=xxxx 这一行,这一个是安装目录,需要更换到一个自己有权限写的目录下 # 例如 prefix = /home/zhangsan/.local/aria2
- 安装
./configure make
- 配置环境变量
vim ~/.bashrc # 在最后一行加 前面更改的prefix加上bin export PATH=/home/zhangsan/.local/aria2/bin:$PATH # 更新环境 source ~/.bashrc
注意:因为aria2 1.1.0版本之后都会检查CA证书,这一块本人不懂,为了避免麻烦就不认证。但是官方hfd使用aria2时需要认证,因此,对官方的hfd进行更新,添加 --check-certificate=false
-
下载 hdf-woca:
wget https://raw.githubusercontent.com/EuterpeK/hfd-woca/main/hfd.sh
-
更改权限并配置
chmod a+x hfd.sh # 配置环境变量 vim ~/.bashrc # 添加 export HF_ENDPOINT=https://hf-mirror.com # 更新环境变量 source ~/.bashrc
-
下载模型
./hfd.sh repo_id --save_dir dir_name --tool aria2c -x 4 # 解析 --tool使用的工具:默认是wget -x 表示多少线程 --save_dir 表示存储的目录名字,默认为模型名字
通过外国服务器下载到本地,再由本地上传到服务器上
sftp -oPort= user@ip
-
安装依赖:
pip install -U huggingface_hub
-
设置环境变量
# 打开配置文件 vim ~/.bashrc # 在文件最后输入 export HF_ENDPOINT=https://hf-mirror.com # 更新配置 source ~/.bashrc
-
下载模型
huggingface-cli download --resume-download repo_id --local-dir ./
https://github.com/LetheSec/HuggingFace-Download-Accelerator
基于hugging_cli的工具
-
下载脚本
wget https://[e.aliendao.cn/model_download.py](https://e.aliendao.cn/model_download.py)
-
下载
pip install huggingface_hub python model_download.py --repo_id repo_id