Universal Translator 使用 AI 对口型和翻译视频

在 I/O 开发者大会上，谷歌今天宣布它正在进行一项名为Universal Translator 的实验。顾名思义，该工具旨在将视频从一种语言翻译成另一种语言，同时保留整体基调和氛围。这意味着该实用程序不仅可以将音频从一种语言翻译成另一种语言，还可以模仿说话者的声音、语气和面部表情。没错，输出的人说话视频会根据目标语言的发音同步嘴唇的动作。

考虑到此工具可能被滥用来创建有问题的 deepfakes，谷歌正在限制对 Universal Translator 的访问。因此，只有授权合作伙伴才能将其权力用于建设性项目，而一般用户将被排除在外。虽然此举限制了 Universal Translator 的潜力，但它有助于阻止不良行为者。

如上图所示，Universal Translator 首先检测单词并进行翻译。然后，它会检查说话者的语气以及他们强调的内容。结合这两个方面后，它会生成目标语言的语音。最后，它会根据 AI 生成的语音的发音同步视频中说话者的嘴唇。

除了 Universal Translator，谷歌今天还推出了其他人工智能工具，包括改进的地图导航、更智能的谷歌搜索等。值得注意的是，该公司还推出了一些备受期待的硬件，例如Pixel 7a、Pixel Fold 和 Pixel Tablet。然而，考虑到当前围绕人工智能的趋势，该公司在其主题演讲中用了很大一部分时间来预览其人工智能工具，而不是主要关注其硬件和即将推出的 Android 操作系统功能。

有兴趣查看主要主题演讲的人可以在直播结束后通过 Google 的官方 YouTube 频道重新观看直播。