简体中文 | English
video-subtitle-extractor是一款将视频中的硬字幕提取为外挂字幕文件(srt格式)的软件。 主要实现了以下功能:
- 提取视频中的关键帧
- 检测视频帧中文本的所在位置
- 识别视频帧中文本的内容
- 过滤非字幕区域的文本
- 去除重复字幕行,去除水印(台标)文本
- 生成srt字幕文件
- 多语言:支持中文/英文、繁体中文、日语、韩语、法语、德语、俄语、西班牙语、葡萄牙语、意大利语字幕的提取
- 多模式:
- 快速 - 快速提取字幕但可能丢字幕(默认请使用这个,实在丢字幕严重再换精准,快速的效果已经很好了,关键比精准快了太多了)
- 精准 - 不丢字幕但速度较慢
QQ交流群:210150985
使用说明:
- 视频以及程序路径请不要带中文和空格,否则可能出现未知错误!!!
如:以下存放视频和代码的路径都不行
D:\下载\vse\运行程序.exe(路径含中文)
E:\study\kaoyan\sanshang youya.mp4 (路径含空格)
- 直接下载压缩包解压运行,如果不能运行再按照下面的教程,尝试源码安装conda环境运行
下载地址:
-
Windows 单文件版本(双击直接运行,每次打开时会有一点慢,推荐小白使用)
-
Windows GPU版本:
-
Windows CPU版本:
-
MacOS CPU版本:
- 采用本地进行OCR识别,无需设置调用任何API,不需要接入百度、阿里等在线OCR服务即可本地完成文本识别
- 支持GPU加速,GPU加速后可以获得更高的准确率与更快的提取速度
- (CLI版本) 无需用户手动设置字幕区域,项目通过文本检测模型自动检测字幕区域
- (GUI版本) 图形化界面
点击【打开】后选择视频文件,调整字幕区域,点击【运行】
有任何改进意见请在ISSUES中提出
- GUI版:
- 点击查看视频教程 👇
PS: Google Colab只能运行CLI版本
请确保你已经安装 python 3.8+,使用conda创建项目虚拟环境并激活环境 (建议创建虚拟环境运行,以免后续出现问题)
-
CPU用户 (mac用户) :
-
安装依赖:
conda create -n videoEnv python=3.8
conda activate videoEnv
-
-
GPU用户(有N卡): 要达到高精度的识别率请使用GPU版
-
创建虚拟环境:
conda create -n videoEnv python=3.8
conda activate videoEnv
-
安装CUDA 11.2和cuDNN 8.1.1
Linux用户
wget https://developer.download.nvidia.com/compute/cuda/11.2.0/local_installers/cuda_11.2.0_460.27.04_linux.run
sudo sh cuda_11.2.0_460.27.04_linux.run --override
1. 输入accept
2. 选中CUDA Toolkit 11.2(如果你没有安装nvidia驱动则选中Driver,如果你已经安装了nvidia驱动请不要选中driver),之后选中install,回车
3. 添加环境变量
在 ~/.bashrc 加入以下内容
# CUDA export PATH=/usr/local/cuda-11.2/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda-11.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
使其生效
source ~/.bashrc
国内:cudnn-11.2-linux-x64-v8.1.1.33.tgz
国外:cudnn-11.2-linux-x64-v8.1.1.33.tgz
tar -zxvf cudnn-11.2-linux-x64-v8.1.1.33.tgz sudo cp ./cuda/include/* /usr/local/cuda-11.2/include/ sudo cp ./cuda/lib64/* /usr/local/cuda-11.2/lib64/ sudo chmod a+r /usr/local/cuda-11.2/lib64/* sudo chmod a+r /usr/local/cuda-11.2/include/*
Windows用户
cuda_11.6.2_511.65_windows.exe国内:cudnn-11.3-windows-x64-v8.2.1.32.zip
国外:cudnn-11.3-windows-x64-v8.2.1.32.zip
将cuDNN解压后的cuda文件夹中的bin, include, lib目录下的文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\对应目录下
如果你使用的是3050/3060/3070/3080等安培架构的显卡,请使用最新的paddlepaddle版本以及最新的cuda 11.6
如果使用conda安装GPU环境失败,请尝试手动安装:
-
安装paddlepaddle:
-
windows:
python -m pip install paddlepaddle-gpu==2.2.2.post112 -f https://www.paddlepaddle.org.cn/whl/windows/mkl/avx/stable.html
-
Linux:
python -m pip install paddlepaddle-gpu==2.2.2.post112 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html
如果安装cuda 10.2,请对应安装7.6.5的cuDNN, 请不要使用cuDNN v8.x 和 cuda 10.2的组合
如果安装cuda 11.2,请对应安装8.1.1的cuDNN, 30系列以上的显卡驱动可能不支持 cuda 11.2的安装
-
-
安装其他依赖:
pip install -r requirements_gpu.txt
-
- 运行图形化界面版本(GUI)
python gui.py
- 运行命令行版本(CLI)
python ./backend/main.py
解决方案:安装cuda与cudnn
将项目中的.condarc放在用户目录下(C:\Users\<你的用户名>),如果用户目录已经存在该文件则覆盖
解决方案:https://zhuanlan.zhihu.com/p/260034241
_lgeos = CDLL(os.path.join(sys.prefix, 'Library', 'bin', 'geos_c.dll'))
File "C:\Users\Flavi\anaconda3\envs\subEnv\lib\ctypes\__init__.py", line 364, in __init__
self._handle = _dlopen(self._name, mode)
OSError: [WinError 126] 找不到指定的模块。
解决方案:
- 卸载Shapely
pip uninstall Shapely -y
- 使用conda重新安装Shapely
conda install Shapely
将conda虚拟环境Lib文件夹下site-packages的所有文件复制到dependencies文件夹中,把paddle库dataset下image.py的有关subprocess代码全部注释了,使用以下打包命令:
python -m nuitka --standalone --windows-disable-console --mingw64 --include-data-dir=D:\vse\backend=backend --include-data-dir=D:\vse\dependencies=dependencies --nofollow-imports --windows-icon-from-ico=D:\vse\design\vse.ico --plugin-enable=tk-inter --output-dir=out .\gui.py
编译成单个文件
python -m nuitka --standalone --windows-disable-console --mingw64 --lto no --include-data-dir=D:\vse\backend=backend --include-data-dir=D:\vse\dependencies=dependencies --nofollow-imports --windows-icon-from-ico=D:\vse\design\vse.ico --plugin-enable=tk-inter --output-dir=out --onefile .\gui.py
本项目开发所使用的IDE由Jetbrains支持。