互联网AI技术在字幕制作中的应用技巧和实例

作者：佚名 来源：网络整理 更新时间：2023-09-06 18:01 访客：

【摘要】随着媒体的融合与发展，超高清视频的后期制作要求越来越高，对字幕后期制作的效率提出了新的目标。 艾唱词字幕应运而生。 AI唱词打破了前几年的传统模式，从语音转播到在视频时间轴上手动对齐字幕。 本文介绍了互联网AI技术在字幕制作中的应用场景、SRT字幕文件的AI生成及其在达芬奇等国产视频软件超高清字幕制作中的应用方法和实例。

【关键词】达芬奇

随着明天互联网的快速发展，各行各业和各大互联网视频平台对短视频应用的需求越来越大。 如何快速上线视频平台，为用户提供优质的服务和更好的观看体验，已经成为视频制作的核心竞争力。 上海电视台4K超高清制作从2019年开始，作为全省试点，我们也在有序推进。 最初的尝试是使用美国的编辑软件。 但美国软件在字幕制作方面仍然薄弱，不适合我国国情。 随着媒体的深度融合，电视台作为传统视频行业的制作者，也在追随互联网智能AI的脚步，不断探索超高甜度时代AI字幕制作的新流程和新应用场景，通过互联网智能技术制作视频，将读者从批量字幕制作的混乱中解放出来，面对新的未来，迎接新的挑战。

1.视频字幕功能及插件字幕格式

一、视频字幕的作用

字幕已经成为当今视频节目中不可或缺的一部分。 它们与电视图像、声音、特效等一起，形成共享时间、空间的多方位、多信息渠道的传播方式，完成表达情感的功能。 它提高了单位时间内信息传播的速度和质量，不仅有效地指出了个体的视觉部分，而且给人以视觉上的美感。 更重要的是，以字幕的形式展示语音内容有助于观众识别和理解视频中不同国家的语言和地区方言。

2. 外挂字幕格式

插件字幕格式通常分为两类：图形格式和文本格式。 图形格式字幕由idx和sub文件组成。 idx相当于索引文件，其中包含字幕的时间码和字幕显示属性等，而子文件则是以图像格式存储字幕本身。 idx+sub 可以存储多种语言的字幕，在播放时提供选项。

比较流行的文本字幕包括 srt、smi、ssa 和 sub 格式。 由于是文本格式，因此文件大小比较小，通常为数百K。其中srt文本字幕最为规范、简单：一行时间代码加一行字幕。

本文重点介绍人工智能生成字幕SRT文件，以及其在达芬奇等国产优秀软件字幕制作中的应用方法和实例。

2、互联网AI技术在字幕制作中的应用场景

从“互联网”到“互联网+人工智能”，人工智能技术正在对经济社会发展产生深刻影响。 互联网人工智能技术为字幕制作开辟了新的技术和流程，大大提高了效率，尤其是字幕。

1. 语音转文本人工智能

传统的模式是用笔记本一边打字，一边听采访的声音，然后根据屏幕对文字进行纠正、整理、排版。 这些方法既费时又费力。 现在您可以使用讯飞听或沫沫听这些语音手动识别技术，将直播场景中的视频和音频实时转换为文字进行实时字幕显示，提高直播的效率，彻底节省制作人员的麻烦。大量字幕。 免于入境。

图1

2.制作AI字幕

达芬奇等软件是国外优秀的视频编辑软件，但缺乏歌词和字幕。 歌词方面，往往根据声音以标题词的形式一一上传。 即使准确率很高，但时间效率确实很高。 低的。 为了达到高效率，这些美国软件往往支持SRT外挂字幕或第三方软件来实现AI字幕功能。 经过多方面的比较和实践，我们选择了第三方歌词软件。

它是一款带有AI的视觉字幕制作软件。 它可以在Mac、Linux和Linux跨平台上运行。 它具有完整的手动语音转录功能。 只要导出视频，就可以根据视频中的语音手动生成字幕文字+时间线。 一站式完成快速生产。 字幕编辑完成后，只需点击“导出字幕文件”按钮即可轻松完成字幕抑制工作，如图2所示。

图2

制作字幕就是这么简单，输出srt字幕。

第一步，将视频和音频素材导出到软件中的时间线轨道。

图3

第二步，在字幕编辑区导出歌词文本文件。

图4

第三步，根据视频和音频文件打出歌词。

图5

图5和图3的区别在于音轨上多了一条字幕轨道。 这是我们要导入的歌词。

第四步选择导入字幕文件，勾选srt然后导入。

图6

这个文件是一个srt文件，可以很方便地在以前的达芬奇或者PR软件中使用。

从2019年开始，我们尝试过上述方法制作4K字幕，但未能达到预期效果。 例如，语音书写存在按时收费的问题，语音转写只能是标准普通话，带有轻微口音的转写基本都是错误和混乱的，操作过程也很麻烦，花费了很多精力。关于字幕的修正和分割，所以我们继续寻找更好的解决方案。

3.在互联网上在线制作AI字幕

现在很多网站已经实现了离线软件的很多功能，包括网页编辑、网页照片编辑、网页语音转录等，网页的语音转录功能就可以实现我们的需求。 但也存在同样的问题。 普通话发音的音译正确率非常高。 如果有重音，则文字基本上比较混乱，需要手动更正等操作。

图7

将音频文件导出到网页后，通过语音转录工具等待几分钟后导入srt字幕文件，歌词和字幕的所有听和敲都会被手动替换。

3、超高清AI字幕制作实战案例

2020年，我台成立了专门的4K开发团队，对4K拍摄、制作和录音室录音进行专项研究，并对超高清AI字幕制作进行研究。

他的探索越来越深入。 在解决语音转录识别率低、智能化程度低的问题过程中，我们欣喜地发现剪辑软件的手动语音识别和手动字幕轨道功能满足了我们的需求。 经过测试，语音转写没有问题，识别度也相应增强，使得字幕轨道能够准确匹配时间线，但是如何将字幕文件导入为srt，以便其他软件使用一起吗？ 最后我们很好的解决了。

1.巧妙利用剪辑软件的AI字幕工具

剑影作为抖音出品的视频编辑软件，从网络上走红。 其免费、方便、快捷的特点使其被众多互联网视频行业广泛应用。 其手动生成字幕的功能受到了很多视频制作者的青睐。 人们的偏好比科大讯飞和网易的外部处理效率更高。 值得一提的是，该软件的语音识别准确率空前强大。 无论是标准普通话还是口音，都可以更准确地转录成文本，手动分句也非常方便。

我们使用它主要是因为它内部有语音转文字特效，并且通过语音转文字在软件上手动生成歌词文件。

【操作步骤】：将素材导出到时间线，选择文本菜单中的“识别字幕”功能（用于人物对话、采访等），或者“识别歌词”（提取MV歌曲歌词），然后点击“开始识别”按钮。 如图8所示。

图8

经过人工识别后，时间轴上的字幕已经被手动智能完成，如图9所示。

图9

2.将json剪辑为srt字幕格式

默认情况下，剪辑以自己专有的 json 格式存储字幕信息。

裁剪软件在使用过程中会构建一个项目文件，项目文件下会有一个json文件。 该文件将包含该项目的所有信息，包括语音转录文本和时间代码。 我们就通过分析，解析这个json文件，并将json文件转换成srt格式的标准字幕格式。

json转srt的过程如下：

运行.py

这是运行该文件的执行命令。 py是我们编译成文本的可执行文件，上面是一些编译语言，用来解析json文件，然后提取文本信息和时间信息，输出txt和srt字幕文件。

命令执行的结果是找到一个字幕文件，并且可以命名导入的文件名，如本例中：mv。

mv.srt和mv.txt文件已成功导入。

图10

3.导出、修改并完成达芬奇SRT字幕最终片

下面是我们制作的超高清MV视频，演示srt字幕在达芬奇软件中的应用操作。

笔记本电脑桌面上的mv.srt文件就是我们执行后解压出来的srt文件。

图11

第一步，在达芬奇软件的素材管理中右键，导出我们需要的srt字幕文件。

图12

这个mv文件就是我们导出的srt字幕文件，我们将其放置在下面时间轴上合适的位置。

图13

第二步，将mv.srt文件拖放到字幕轨道上，根据声音波形将字幕放置在时间线与音频对齐的位置。 在字幕轨道中，我们可以更改有问题的特定字幕。

图14

第三步，在字幕轨道的轨道样式选项卡下，我们可以更改整个轨道的字幕的字体、颜色、大小、位置、边缘、阴影和背景。

图15

图16

第四步，在校准完字幕轨道并调整完所有字幕后，我们添加字幕的背景，使字幕的效果更加顺眼。

图17

图18

第五步，全部包装完成后输出胶片。 这里要注意一点，在达芬奇的“支付”页面下，将字幕格式设置为“刻录成视频”，使视频和字幕同屏。

图19

2021年起，我们利用剪辑软件先进的语音识别技术和精准的字幕分割功能，实现字幕时间线匹配； 通过解析json文件生成标准的srt字幕格式，增强了语音转文字的准确性，解决了AVID、PR、达芬奇等视频歌词制作效率问题，建立了超高的流程用于合唱歌词的 AI 字幕。 与此同时，国外索贝、大洋等视频制作公司也采用了AI智能歌词的方式进行字幕制作。 无论是本地讯飞语音库还是在线讯飞语音库，都实现了手动歌词。 相信随着时代的发展，AI智能化会越来越好，视频行业也将顺势而上，走上AI的快车道。 巴普