Updated on 2019年4月6日. Posted on 2019年4月5日

    Googleの新アプリが凄すぎる。リアルタイム文字変換の精度がエグい

    Googleの音声文字変換のAndroidアプリ「Live Transcribe」がすごいのです。YouTubeなどの音源までをも機械学習で取り込み、字幕の精度をあげている同社。今後の展開は、Gmail、Google Driveなどを運営するG Suiteと一緒にビジネス展開もありえるかも…!?

    音声入力はここまできたのか……。こちら、音声で入力した文章になります。

    BuzzFeed

    2月にリリースされたGoogleの「Live Transcribe」。これは、同社が培ってきた音声認識テクノロジーを使い、スマートフォンのマイクで話している人の声をリアルタイムで文字に変換するAndroidアプリです。

    まだ、β版ですが任意でダウンロードでき、ひとあし早く音声文字変換技術を体験できます。

    アプリをダウンロード後、設定>ユーザー補助>音声変換を音にすると使えるようになります。

    文脈を読み取って、適切な言葉に「修正」する

    世界で4億人以上もいる難聴、及び聴覚障害者。日本の人口の3.7倍。

    Live Transcribeは聴覚障害を持つGoogleのDimitri Kanevsky氏によって企画・開発されました。家族や孫娘と自由に日常会話を楽しみたい。この気持ちがアプリの根幹に活きています。

    「一対一のコミュニケーションが自然にできるように心がけた」とし、0.2秒のレスポンスを実現。ほぼリアルタイムで書き起こしが可能です。

    単なる言葉の羅列ではなく、文脈を反映した書き起こしに対応しています。

    BuzzFeed

    上のgifは太宰治の『朝』を読み上げた際に、Live Transcribeが書き起こしをしたもの。

    途中で、意味を汲み取って「アクト」→「開くと」、「愚痴」→「口」に修正されています。

    「リアルタイム文字起こし」はどうやって実現できるのか

    Live Transcribeの言語識別には2つのレイヤーがあります。1つは端末上で犬の鳴き声、人の声、ガラスが割れる音をデバイス上で識別するもの。この上に、クラウド上でのスピーチの認識をかけあわせて、スムーズな音声認識を実現しています。

    BuzzFeed

    クラウド上での処理は3つの段階に分けられます。

    1:Acoustic Model(青)
    音の波形そのものを読み込み、発している言葉を「コの音」「ニの音」に近いとを判別する。これは言語が持つ音の最小単位「音素」として格納される。

    2:Pronunciation Model(黄)
    音素を組み合わせて「単語」を認識し、予測する。「コ」の後に「ニ」が来れば、「コニ」という「言葉」として認識される。

    3:Language Model(赤)
    「コニ」という言葉が「日本語」であればこの音声は「コンニチワ」と発しているのだと予測される。

    知らない単語に遭遇した時、まず綴りを見てから、自分の頭にある言葉の辞書と照らし合わせて認識する。Live Transcribeは、このような人間の音声認識と同じ流れを則っているそうです。

    Google Audio Set / Via research.google.com

    また、Googleは2年前からAudio Setというサウンドクリップを公開しています。ここでは、800万超のYouTubeから10秒ほどの動画を抽出し、音楽、話し声、拍手、動物の鳴き声などをラベリングして、音声認識の機械学習の精度を高めています。

    この技術は、YouTubeの字幕はもちろん、動画中の「(拍手)」などのキャプションが出る技術などに使われています。

    こうした音声認識の機械学習の積み重ねが、Live TranscribeのようなGoogleのアプリに活かされているのです。

    録音音源の書き起こし、同時通訳の展望も…?


    S3studio / Getty Images

    現在はリアルタイムで音声を文字化する機能にとどまっているLive Transcribeですが、Googleによると今後は録音音源を文字化することも検討しているそうです。

    今後、機械学習によって、声の高低、子供の声、高齢者の声の性質、スピード等を高度に認識するようになれば、複数人の対話の文字化も可能になるといいます。

    グーグル翻訳もフリーで提供している同社は、今後同時通訳のビジョンも描いているそうです。同時通訳に関しては、「音声をテキスト変換する際のエラー」と「書き起こしたテキストを翻訳する際のエラー」の2つの発生しうる誤りを、どう克服していくのかが課題のようです。

    また、現在は聴覚障害者に向けてリリースしたLive Transcribeですが、今後はビジネス向けにも使える機能を搭載したサービスも展開すべくGmailやGoogle Driveなどを開発したG Suiteと一緒に開発を進めていきたいとしています。

    バズフィード・ジャパン スタッフライター

    Contact Yui Kashima at yuuuuuiiiiikashima@gmail.com.

    Got a confidential tip? Submit it here