硬字幕通常是指已经嵌入视频内部的文字,编辑和播放软件是无法将其剥离的。如果要把视频字幕提取并翻译、最后合成视频,大概要用到OCR、视频还原、翻译、句子简化、视频布局计算、音视频等各项技术。 2023年AI视频和翻译技术太火了,现在也有能直接提取视频中的硬字幕并进行翻译合成的软件,今天小编就给大家分析下这里的流程并推荐一款AI产品,真正解决视频硬字幕的翻译问题。
整篇文章分为以下几部分
- 视频硬字幕的定义
- 视频硬字幕翻译的流程和技术原理
- 视频硬字幕的翻译效果和AI软件
- 如何硬字幕翻译后如何修改
视频硬字幕的定义
硬字幕也被称之为嵌入式字幕、内嵌字幕、内置字幕等等,通常字幕的文字是已经嵌入电影中的字幕。这种字幕的文字已经不再是文字了,而是图像,他没有一个单独的字幕文件,用户不能使用剪辑工具或者播放工具来删除这个选项。这些字幕是不可改变或完全删除的。
视频硬字幕翻译的流程和技术原理
提取视频的硬字幕并翻译的技术流程如下:
- 视频解析和提取字幕:使用视频解析工具或开源库,提取出视频中的字幕文件。硬字幕通常保存为视频文件中的像素信息,且字幕不可以关闭或隐藏。将视频文件送到OCR识别引擎或API,将像素信息转换为文字信息。
- 借助OCR技术识别文字:OCR技术可以识别字幕中的文字信息,然后将其转换为文本形式。OCR引擎会建立一个字幕数据集,以便识别出可能出现的特殊字符,例如:字幕中的标点符号、特殊符号、字体颜色和大写字母等。
- 翻译字幕:使用ChatGPT等语言模型进行自动翻译。可以使用机器翻译API,将提取的字幕文本传递给翻译引擎,并将翻译结果返回到应用程序。
- 字幕的替换和整合:将翻译后的字幕嵌入到视频的时间轴中,并生成新的字幕文件。(srt,ass等格式)
- 音频文件与字幕的匹配:使用音频处理工具,将视频中的字幕与音频文件同步,使它们保持一致并消除任何时间差异。
- 生成翻译后的视频文件:将同步的音频文件和视频文件重新组合在一起,并输出翻译后的视频文件。
整个技术流程可以自动化完成,其中可控成分是通过 OCR 与 ChatGPT API 进行自然语言处理的过程。
翻译视频硬字幕的效果
以下是鬼手剪辑自动翻译软件的实际效果
准确识别多行文字和样式
自动用ChatGPT翻译并合成视频
中文和英文都能提取翻译
翻译硬字幕很准确
鬼手剪辑GhostCut是通过OCR识别原视频中「字幕」并生成翻译文字,同时通过AI-视频还原去掉原视频字幕,然后将翻译后的字幕会重新贴回原字幕的位置,并尽量保留原字幕的大小、颜色、板式等。相比于使用多种剪辑和翻译软件,鬼手剪辑视频翻译的特点是:全自动,一键去原始文字,保留原视频文字版式。
GhostCut翻译视频内硬字幕,他能支持哪些语言?
视频内原始语言:中文/英语等 被翻译的目标语言:中文/英语/日语/印尼语/葡萄牙语/法语/西班牙语/印地语/阿拉伯语/ 越南语/泰语/德语/俄语/土耳其语/意大利语/越南语
翻译视频硬字幕后如何修改?
鬼手剪辑GhostCut现已经支持对硬字幕翻译调整,如果觉得翻译的不准确或者有场景文字被误翻译,可以通过以下方式进行调整:
1、在小程序点击作品,有个选项“调整视频翻译”
2、点击后查看新老作品,同时可以批量编辑字幕。
3、 进入之后可以看到编辑字幕区域,点击进入之后即可调整文案。
手机端可以调整提取后的字幕哦
调整文案的时候注意:
1、样式不会改变;
2、注意文字长短,如果过长会自动换行;
3、也可以在被翻译的区域,手动换行;
小技巧:
如果发现连续两行样式不统一,可以删掉一行,把文案都集中在一行进行处理。
好了,今天就是小编为大家整理的关于视频内硬字幕的提取、翻译和合成的相关资料,希望大家能多多分享给更多朋友。
创业项目群,学习操作 18个小项目,添加 微信:923199819 备注:小项目!
如若转载,请注明出处:https://www.zodoho.com/128328.html
