Adobe Firefly 现已能为视频生成 AI 音效——效果令我深感震撼

就在一年半前，Adobe Firefly 生成式 AI 套件最前沿的功能还仅限于通过文本结合参考图像等定制选项来生成高质量图片。如今 Adobe 已转向文本生成视频领域，并正通过新增一系列功能来增强其市场竞争力。

周四，Adobe 发布了一系列视频功能升级，让用户能更精准控制最终生成效果，提供更多视频创作选项乃至多元创作模式。尽管生成逼真 AI 视频已是展现人工智能发展高度的壮举，但视频生成始终缺失关键一环：声音。

Adobe 此次更新旨在让创意工作者也能运用 AI 技术创作音频。

生成音效功能

全新推出的”生成音效（测试版）”允许用户通过输入文字描述来定制声音。若想更精确掌控生成效果，用户还可通过人声示范节奏、时机及期望的声音强度参数。

例如，若想生成狮子吼声并使其与视频中主体张嘴闭嘴的动作同步，您可以边观看视频边录制自己模拟角色动作发出的声音片段，再辅以描述所需音效的文字提示。系统随后会提供多个选项供您挑选，您可以选择最符合项目氛围的那一版。

虽然 Veo 3 等其他视频生成模型也能根据文本生成带音频的视频，但该功能的突出之处在于用户输入自定义音频时拥有的控制权。

在功能正式发布前，我有幸观看了实时演示。令人惊叹的是，生成音频不仅能完美跟随输入音频的节奏，还能结合文字提示创造出符合预期效果的音效——当然，那位尽力对着麦克风模仿狮吼的可爱演示者已经做得很棒了。

生成视觉化身

另一项测试版功能是”文本转化身”，顾名思义，它允许用户将脚本转化为由虚拟形象主导的视频，或看起来像真人朗读脚本的视频。选择虚拟形象时，用户可以浏览图库中的虚拟形象，自定义背景和口音，然后由 Firefly 生成最终成品。

Adobe 表示，该功能的潜在应用场景包括：通过虚拟主持人创建引人入胜的视频课程、将文本内容转化为社交媒体视频文章，或是为任何素材增添”人性化触感”——这说法颇具讽刺意味。

其他视频改进功能

Adobe 还推出了一些实用而简单的功能，将提升用户的视频生成体验。例如，用户现在可以使用”视频构图参考”功能上传参考视频，然后将该构图添加到新生成的视频中。

这对依赖生成视频的创作者来说是重大利好，因为无论你多么擅长编写提示词，文字描述往往只能呈现你想象画面的一部分。现在，你可以减少解释时间，同时让模型准确理解你的创作意图。观看现场演示时，最终输出效果与参考图像高度吻合。

全新的”风格预设”选项让用户只需轻点预设模板，就能轻松为视频应用黏土动画、动漫、线稿、矢量艺术、黑白等多样化视觉风格。

Firefly 网页版”视频生成模块”新增的”提示词增强”功能，通过为原始提示词补充说明语言，帮助系统更精准理解创作意图，从而生成更符合用户预期的效果。

Adobe 还新增了一项关键帧裁剪功能，根据官方说明，用户可上传首尾帧画面，指定图像裁剪范围并添加场景描述，随后 Firefly 便能生成匹配的视频效果。

最后，Adobe 对其 Firefly 视频模型进行了改进，提升了动作保真度。这意味着生成的视频将更流畅自然地运动，更好地模拟现实物理规律。这在生成动物、人物、自然景观等视频时尤为重要。

Adobe 还持续为其视频生成器添加更多模型，让用户能在一个平台上尝试市场上的多种风格。目前，Adobe 正将 Topaz 的图像视频超分工具和 Moonvalley 的 Marey 加入 Firefly Boards，同时将 Luma AI 的 Ray 2 与 Pika 2.2 引入视频生成功能。