AI生成字幕

[HedioKojima]

看到了这个https://github.com/GhostNaN/whisper-subs ，但好像不支持windows，您有兴趣吗？谢谢

[dyphire]

这个脚本使用的 whispercpp 本身就支持跨平台，修改适配 Windows 并没有什么难度。问题在于 whispercpp 本身生成的时间戳极不准确，可用性大大降低。一般更推荐使用 fast-whisper

[HedioKojima]

potplayer最近好像更新了这个功能

[dyphire]

搓了个概念验证性质的 mpv 脚本：https://github.com/dyphire/mpv-sub-fastwhisper

[VimWei]

一直用 WhisperX，速度、准确性都有保障，这个python支持 仅CPU、批量转换：https://github.com/VimWei/WhisperXTranscriber

再搭配 srt-resegment.lua，简单加工就可以实现完美字幕：https://github.com/VimWei/mpv-config

[dyphire]

更改了脚本的实现方式，现在会在字幕开始生成时就载入 mpv 并进行增量更新而不是之前的等待字幕全部生成后才载入，伪实时。实用性进一步增加

[dyphire]

添加音频分段式增量生成逻辑（依赖 ffmpeg），大幅提升字幕初始化生成的速度。经测试 2 小时视频 30 秒内开始生成并显示字幕，旧方案需要等待音频整体提取完成后才能进行字幕生成（耗时 3 分钟）

缺点是会降低字幕生成的准确度，生成所有字幕的速度也明显变慢（依旧满足实时生成需要）。默认禁用，时长低于 30 分钟的视频不推荐启用

[dyphire]

对于 sub-fastwhisper 脚本的用法，推荐使用 whisper 最新的模型 large-v3-turbo 搭配 cuda 的组合（中文语音转录推荐 large-v2 模型

turbo 模型转录又快又好，准确率只比常规 large 模型差些，生成速度也只比最基础的 tiny 模型慢。在 3060 上测试 2 小时视频 5 分钟内字幕即可生成结束（生成其实只用了两分钟，最耗时的其实是解码及 VAD 分析音频）
PS：注意不要在 cpu 模式下使用此模型，非常吃资源

新添加的音频分段式增量生成方式反而不推荐使用，它只在小模型下能够满足实时生成，大点的模型都很难做到。虽然可以通过 cuda 进行加速，但 cuda 下分段提取的音频有概率解码失败，进一步降低了可用性

[dyphire]

faster-whisper 有个--batched的批处理模式非常疯狂，几十秒内即可生成完毕。但生成的字幕时间戳就很感人了

[dyphire]

记录：阿里开源的 SenseVoice 语音识别模型效率非常高，即使是在 CPU 上推理速度都相当快，可惜目前只有 small 模型，生成的准确率尚不及 whisper 的 large 模型，等待后续可能推出的大模型

[dyphire]

已为脚本添加 AI 字幕翻译功能，翻译后支持生成双语 ass 字幕。这个脚本基本没啥可折腾的了，进入低维护状态
AI 翻译模型的话推荐使用智谱 GLM 的免费 AI 模型：glm-4-flash
选项配置参考：

mpv-config/script-opts/sub_fastwhisper.conf

Lines 26 to 38 in 9ee81cc

	## GPT API 选项 ###
	# 与其他结构与 GPT API 相同的 AI API 兼容
	# 推荐使用智谱 GLM 的免费 AI 模型：glm-4-flash
	api_url=https://open.bigmodel.cn/api/paas/v4/chat/completions
	# api key 需自行在对应 AI 平台的个人账号下申请
	api_key=
	# 指定要使用的 AI 模型
	api_mode=glm-4-flash
	api_temperature=0.95
	# API 使用的每分钟速率。有关说明请参阅相应的 API 文档
	api_rate=15
	# 指定 AI 翻译的目标语言
	translate=Chinese

API key 自行在智谱平台注册后获取

[HedioKojima]

🙏感谢，非常完美了