pyVideoTrans开源免费视频翻译和字幕配音软件

pyVideoTrans是一个开源免费视频翻译和字幕配音软件,可将一种语言的视频翻译为指定语言的视频,自动生成和添加该语言的字幕和配音。比如有一个英文电影,发音是英文,没有英文字幕,也没有中文字幕,使用这个工具处理后,可以转成带中文字幕,并且带有中文配音的电影。

(1)语音识别支持 faster-whisper模型 openai-whisper模型 和 GoogleSpeech zh_recogn阿里中文语音识别模型.

(2)文字翻译支持 微软翻译|Google翻译|百度翻译|腾讯翻译|ChatGPT|AzureAI|Gemini|DeepL|DeepLX|离线翻译OTT

(3)文字合成语音支持 Microsoft Edge tts Google tts Azure AI TTS Openai TTS Elevenlabs TTS 自定义TTS服务器api GPT-SoVITS  clone-voice  ChatTTS-ui

(4)允许保留背景伴奏音乐等(基于uvr5)

(5)支持的语言:中文简繁、英语、韩语、日语、俄语、法语、德语、意大利语、西班牙语、葡萄牙语、越南语、泰国语、阿拉伯语、土耳其语、匈牙利语、印度语、乌克兰语、哈萨克语、印尼语、马来语、捷克语

除了这个核心功能,还附带其他一些工具:

  • 语音识别文字:可将视频或者音频中的声音识别为文字,并导出为字幕文件。
  • 音频视频分离:可将视频分离为一个无声视频文件和一个音频文件
  • 文字字幕翻译:可将文字或srt字幕文件,翻译为其他语言的文字或字幕
  • 视频字幕合并:可将字幕文件嵌入到视频中
  • 音视字幕合并:可将视频文件、音频文件、字幕文件三者合成为一个文件
  • 文字合成语音:可将任意文字或srt文件,合成为一个音频文件。
  • 人声背景分离:可将视频里的人类声音和其他声音分开为2个音频文件
  • 下载油管视频:可在线下载Youtube视频

工作原理

将原始视频先使用 ffmpeg 分离出音频文件和无声mp4,然后利用 openai-whisper/faster-whisper模型识别出音频中的人声,并保存为srt字幕,接着将srt字幕翻译为目标语言并保存为srt字幕文件,再将翻译结果合成为配音音频文件。

接着将配音音频文件、字幕srt文件、原无声mp4合并为一个视频文件,即完成翻译。

主要用途和使用方式

【翻译视频并配音】将视频中的声音翻译为另一种语言的配音,并嵌入该语言字幕

【音频或视频转为字幕】将音频、视频文件中的人类说话声,识别为文字并导出为srt字幕文件

【批量字幕创建配音】根据本地已有的srt字幕文件创建配音,支持单个或批量字幕

【批量字幕翻译】将一个或多个srt字幕文件翻译为其他语言的字幕文件

【音频、视频、字幕合并】音频文件、视频文件、字幕文件合并为一个视频文件

【从视频中分离出音频】从视频中分离为音频文件和无声视频

【下载油管视频】可从youtube上下载视频

预打包版本(仅win10/win11可用,MacOS/Linux系统使用源码部署)

使用pyinstaller打包,未做免杀和签名,杀软可能报毒,请加入信任名单或使用源码部署

[点击去下载预打包版,解压到无空格的英文目录后,双击 sp.exe

解压到英文路径下,并且路径中不含有空格。解压后双击 sp.exe (若遇到权限问题可右键使用管理员权限打开)

注意:必须解压后使用,不可直接压缩包内双击使用,也不可解压后移动sp.exe文件到其他位置

v1.89完整包下载

从123网盘下载: https://www.123pan.com/s/03Sxjv-1oyB3.html

从百度网盘下载: https://pan.baidu.com/s/1AEWUG_K_AJwLygymIb8LNQ?pwd=4m1r

MacOS源码部署

(1)打开终端窗口,分别执行如下命令

执行前确保已安装 Homebrew,如果你没有安装 Homebrew,那么需要先安装

执行命令安装 Homebrew: /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

安装完成后,执行: eval $(brew --config)

brew install libsndfile

brew install ffmpeg

brew install git

brew install python@3.10

继续执行

export PATH="/usr/local/opt/python@3.10/bin:$PATH"

source ~/.bash_profile 

source ~/.zshrc

(2)创建不含空格和中文的文件夹,在终端中进入该文件夹。

(3)终端中执行命令 git clone https://github.com/jianchang512/pyvideotrans

(4)执行命令 cd pyvideotrans

(5)继续执行 python -m venv venv

(6)继续执行命令 source ./venv/bin/activate,执行完毕查看确认终端命令提示符已变成已(venv)开头,以下命令必须确定终端提示符是以(venv)开头

执行 pip install -r requirements.txt --no-deps,如果提示失败,执行如下2条命令切换pip镜像到阿里镜像

pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
pip config set install.trusted-host mirrors.aliyun.com

然后重新执行 如果已切换到阿里镜像源,仍提示失败,请尝试执行 pip install -r requirements.txt --ignore-installed --no-deps

(7)python sp.py 打开软件界面

Linux下源码部署

(1)CentOS/RHEL系依次执行如下命令安装 python3.10


sudo yum update

sudo yum groupinstall "Development Tools"

sudo yum install openssl-devel bzip2-devel libffi-devel

cd /tmp

wget https://www.python.org/ftp/python/3.10.4/Python-3.10.4.tgz

tar xzf Python-3.10.4.tgz

cd Python-3.10.4

./configure — enable-optimizations

sudo make && sudo make install

sudo alternatives — install /usr/bin/python3 python3 /usr/local/bin/python3.10

sudo yum install -y ffmpeg

(2)Ubuntu/Debian系执行如下命令安装python3.10


apt update && apt upgrade -y

apt install software-properties-common -y

add-apt-repository ppa:deadsnakes/ppa

apt update

sudo apt-get install libxcb-cursor0

apt install python3.10

curl -sS https://bootstrap.pypa.io/get-pip.py | python3.10

pip 23.2.1 from /usr/local/lib/python3.10/site-packages/pip (python 3.10)

sudo update-alternatives --install /usr/bin/python python /usr/local/bin/python3.10 

sudo update-alternatives --config python

apt-get install ffmpeg

打开任意一个终端,执行 python3 -V,如果显示 “3.10.4”,说明安装成功,否则失败

(1)创建个不含空格和中文的文件夹, 从终端打开该文件夹。

(2)终端中执行命令 git clone https://github.com/jianchang512/pyvideotrans

(3)继续执行命令 cd pyvideotrans

(4)继续执行 python -m venv venv

(5)继续执行命令 source ./venv/bin/activate,执行完毕查看确认终端命令提示符已变成已(venv)开头,以下命令必须确定终端提示符是以(venv)开头

(6)执行 pip install -r requirements.txt --no-deps,如果提示失败,执行如下2条命令切换pip镜像到阿里镜像


pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
pip config set install.trusted-host mirrors.aliyun.com

然后重新执行,如果已切换到阿里镜像源,仍提示失败,请尝试执行 pip install -r requirements.txt --ignore-installed --no-deps

(7)如果要使用CUDA加速,分别执行

pip uninstall -y torch torchaudio

pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu118

pip install nvidia-cublas-cu11 nvidia-cudnn-cu11

(8)linux 如果要启用cuda加速,必须有英伟达显卡,并且配置好了CUDA11.8+环境,请自行搜索 “Linux CUDA 安装”

(9)python sp.py 打开软件界面

 

原文链接:https://vuesite.cn/42105.html,转载请注明出处。
0
显示验证码
没有账号?注册  忘记密码?