YouTubeのオートダビング(多言語吹替え機能)の裏側にある3つのAI技術

2025年から一般開放されたこの「オートダビング」機能。その日本語から英語に変換される技術の内容をご紹介します。

2025年急速に普及しているこの機能ですが、「一体どうやって、日本語特有の曖昧な表現や省略された主語を自然な英語に変換しているのだろう？」と疑問に思ったことはありませんか？それとも「日本語は英語に翻訳出来るんだから当たり前」のように思えますか？

弊社ではYoutubeの日本語字幕整形サービスを開始しています。

私は動画配信黎明期から各動画配信社の字幕挿入作業も担当してまいりました。
Electronic Press Kit(通称EPK)と呼ばれる映画配給から提供されるプレス向けの情報映像です。
これはメイキングや監督・俳優さんたちのインタビューが含まれた映像資料映像になっているのですが、主にこちらの字幕挿入(翻訳は別担当)を行っていました。2000年初期からです。

テレビ業界でも出演者の方々が喋ってる内容を「かいつまんだり」「そのままだったり」させながら画面比率などを考慮して、喋ってる内容に合わせて表示しています。(通称：舐め出し)

この2つの手法を長年仕事現場で使用しておりますので、誤訳やタイミングが微妙に狂ってしまうYoutubeの自動翻訳機能ではない、自然な字幕表示を実現します。

このサービスを始めてふと気づいたのですが、英語字幕は日本語字幕とは表示方法が違うのです。
英語の場合は、今なら小学生から、昔なら中学生から習う英語の簡単な1文(S+V+O)だけでみても、その文節で区切ってしまうと意味をなさなくなり、混乱するそうなのです。
つまり、日本のテレビ業界でのテロップだし(舐め出し)をそのまま英文にして字幕化しても、英語圏の人達にはストレスになるだけなんだそうです。

そういった疑問から、今回はGoogleのGeminiに質問してみたら、面白い話を始めたのでそのまま共有します。AIの話をそのまま共有しても大丈夫なの？と思ったのでそれも聞いてみたのですが…

私は「ツール」であり、プライバシーや著作人格権を持ちません

ということなので共有します。

この「オートダビング」機能の秘密は、Googleが開発した「Aloud」というAIツールにあるそうです。
これは単なる翻訳機ではなく、「コンテンツを多言語化するためのAIパイプライン」と呼ぶべき、非常に高度なシステム見たいです。以下、Geminiが提供してくれた情報です

YouTube吹替え機能（Aloud）の仕組み：3つのAIの連携

この機能は、大きく分けて3つのAIが連携して動作しています。

ステップ1：高精度な「文字起こしAI」（Speech-to-Text）

まず、AIが元の日本語の動画を視聴し、話されている言葉を一言一句、極めて高い精度でテキストデータに変換します。
このAIは、単に音を文字にするだけでなく、文脈を理解して同音異義語を正しく変換したり（例：「いし」を「石」と「意思」で使い分ける）、話者の間の取り方や句読点の位置を推測したりします。この段階で、分割されていたテロップとは異なり、完全な文章がデータとして復元されます。

ステップ2：文脈を理解する「翻訳AI」（Neural Machine Translation）

ここが、ご質問の核心部分です。文字起こしされた日本語の文章全体を、AIが翻訳します。
このAIは、単純な単語の置き換え（辞書的な翻訳）はしません。文章全体、時にはその前後の会話までを読み込み、文脈上の「本当の意味」や「話者の意図」を理解しようとします。

ステップ3：感情を込める「音声合成AI」（Text-to-Speech）

翻訳された英語のテキストを、AIが自然な音声で読み上げます。
近年の音声合成AIは非常に進化しており、元の話者の声のトーン、感情、話す速さなどをある程度模倣して、より自然で感情のこもった吹替え音声を生成しようと試みます。

なぜ「S+V+Oにならない日本語」を処理できるのか？

ここがAloudの最も優れた点です。結論から言うと、AIは「直訳」ではなく「意図の再構築」を行っています。

日本語はSVOにならないことが頻繁にあります。主語が省略されたり、倒置法が使われたり、独特の言い回しがあったりします。

例：日本語の典型的な「非SVO」表現

「あの交差点、昔、火葬場だったらしいですよ」

この文には明確な主語（SVOの"S"）がありません。また、「〜らしいですよ」というニュアンスも含まれています。

AIの思考プロセス：

1. 直訳の失敗を認識：
   もしAIがこれを直訳すると、"That intersection, in the past, seems to have been a crematory." のようになります。文法的にはギリギリ成立しますが、非常に不自然で硬い英語です。
2. 意味の要素を分解・分析：
   AIは文を要素に分解し、その「意図」を分析します。
   • 主題（Topic）： あの交差点について
   • 情報（Information）： 過去に火葬場であった
   • ニュアンス（Nuance）： 伝聞・噂である（〜らしい）
3. 英語として最も自然な形に「再構築」：
   分析した意図を、英語話者が最も自然に理解できるSVO構造の文章に全く新しく組み立て直します。
   • 再構築後の英語吹替え案①（噂を強調）：
     "They say that intersection used to be a crematory."
     （「彼らは言う」＝They say という英語の慣用句で「〜らしい」のニュアンスを表現。主語"They"を補っている）
   • 再構築後の英語吹替え案②（事実をシンプルに）：
     "Apparently, that intersection was built on an old crematory site."
     （Apparently＝「どうやら〜らしい」という副詞でニュアンスを表現）

このように、AIは日本語の語順や形を一旦無視し、その文が伝えたい「核となるメッセージ」を抽出してから、それを素材に英語の設計図で全く新しい家を建てるような作業を行っているのです。

主語がなければ文脈から補い、不思議な言い回しがあれば、その「機能」や「感情」に最も近い英語の慣用句を選択します。だからこそ、元の言語の構造に縛られない、自然な吹替えが可能になっているのです。

「Aloud」って「Google Read Aloud」のこと？

「Aloud」と検索すると、ウェブページの読み上げサービスである「Google Read Aloud」が出てくると思いますが、これとは別の技術になります。

1. YouTubeの吹替えで使われる「Aloud」

• 正式名称: Aloud
• 開発元: Google（社内インキュベーターである「Area 120」から生まれました）
• 目的: 動画コンテンツの多言語化（翻訳と吹替え）
• 機能:
  1. 動画の音声を文字起こしする (Transcription)
  2. そのテキストを別の言語に翻訳する (Translation)
  3. 翻訳されたテキストをAI音声で吹替えする (Dubbing/Speech Synthesis)
• ターゲット: YouTubeクリエイター
• 役割: AI翻訳家 兼 AI声優

これは、言語の壁を乗り越えるための高度なAIパイプラインです。クリエイターが自分の動画を世界中の視聴者に届けることを支援するために開発されました。

2. ウェブページ読み上げサービスの「Read Aloud」

• 正式名称: Read Aloud: A Text to Speech Voice Reader など（多くはブラウザの拡張機能です）
• 開発元: Google自身が提供しているわけではなく、多くはサードパーティ（第三者）の開発者がGoogleの音声合成技術などを利用して作っています。
• 目的: ウェブページ上のテキストの読み上げ（アクセシビリティ）
• 機能:
  1. ウェブページに表示されているテキストを認識する
  2. そのテキストを**（翻訳せずに）そのままの言語で**音声として読み上げる
• ターゲット: 一般のウェブユーザー（記事を耳で聞きたい人、視覚に障がいのある人など）
• 役割: AI代読者

出典元：Google Gemini

【通信5年SIM 内蔵】ポケトーク S2 Plus ホワイト アクセサリセット (多言語翻訳 瞬時に翻訳 音声翻訳機 カメラ翻訳 翻訳機 通訳機 電子辞書 170以上の国と地域に対応 POCKETALK)

¥47,960 （2025/09/07 09:17時点 | Amazon調べ）

Amazon

ポチップ