AI（人工知能）を活用して、病気などで声を失った方々が話そうとする内容を推定。人工音声に変換する「読唇（どくしん）アプリ」が、大阪大学などの研究チームによって開発されています。数年後の実用化を目指す、同チームの御堂義博（みどう・よしひろ）特任准教授に、お話をうかがいました。

AI技術で失った“声”を取り戻す

喉頭がんの手術や事故など、思わぬアクシデントで人は声を失ってしまうことがあります。読唇アプリは、そのような方々をサポートするため、発話者の口の動きをAIで推定（読唇）し、音声化して伝えるツールです。

「3年前、医療現場から相談を受けたことを機に開発が始まりました。スマートフォンなどで撮影した口元の動画像をAIが分析し、人工音声に変換・出力するのが、アプリの基本的な仕組みです」と御堂先生。

読唇技術は、英語圏では2016年前後から「LipNet（リップネット）」というAIモデルを中心に発展しているそうです。医療以外にも、例えば電車の中で口だけを動かしてコミュニケーションを取るなど、サイレント音声認識の分野で色々なデバイスの開発がされています。

「英語では、93.4％という高い読み取り精度が報告されています。当初はこの技術を日本語に応用しようと考えましたが、その開発は困難を極めました」

英語と比較して、日本語は口の形だけでは予測しにくい音が多く、誤認率が高いことが理由でした。

「英語のアルファベットは『A』〜『Z』の26種類ですが、日本語のひらがなは46種類あり、濁音や拗音（ようおん）を含めると、108種類にも及びます。

また、英語は10種類以上の母音がありますが、日本語の母音は5種類しかありません。このため『あ』と『か』のように口の動きが似ている音が多く、AIでも推定が難しいのです」

そこで、御堂教授と研究チーム（大阪大学の三浦典之教授・猪原秀典教授ら）は、二つのAIを組み合わせる独自の手法を試みました。

まず、AIに口元の膨大な映像を学習させ、口の形の変化を16種類の「口形コード」に変換。さらにそれを、高性能な対話型AIに読み込ませることで、判読困難だった口の動きのデータから、自然な日本語の文章を生成することに成功したのです。

「また、AIが推定したこのテキストに、人工音声を作り出す『CoeFont（コエフォント）』という発話サービスを組み合わせることで、読み取った発話内容をご本人の声で再現することも可能になりました」

声帯手術などで声を失う可能性がある患者さんが、事前にご自身の声を登録しておけば、術後も自分の声で伝えたい内容を再生できます。

アプリが叶える未来への希望

一方、読唇アプリの社会への実装化に際しては、課題も残ると御堂先生は話します。

「今後は、病院などで患者さんに使っていただく段階へ進む予定ですが、現状で利用するためには、ネットワークと専用のサーバーが必要です。そのため、手元のスマホやタブレットで完結するシステムの開発を急がなければなりません。

また、発話内容の推定精度は現状でも60％程度です。精度を高め、数年以内の実用化を目指したいと思います」

これまで研究チームでは、音声変換の飛躍的なレベルの向上を目標に、3名の学生がそれぞれ1000文ほどの文章を読んだ映像から口の形をAIに学習させていましたが、さらなるデータの拡充に取り組んでいます。

この画期的なシステムの開発進展は、ご本人と医療関係者はもとより、ともに暮らすご家族のQOL（生活の質）も向上させるものとして期待されています。

【プロフィール】
大阪大学
大学院情報科学研究科 情報システム工学専攻 特任准教授（常勤）
keyword計測学、顕微鏡画像解析、AI活用システム
御堂義博（みどう・よしひろ）さん

【2006年4月-2007年5月】大阪大学情報科学研究科情報システム工学専攻、特任研究員
【2007年6月-2021年10月】大阪大学情報科学研究科情報システム工学専攻、助教
【2019年1月-2021年10月】大阪大学先導的学際研究機構、量子情報・量子生命研究部門（兼任）
【2021年11月-現在】大阪大学、大学院情報科学研究科情報システム工学専攻、特任准教授

取材：あいらいふ編集部／文：山田ふみ

豊かなシニアライフのための情報誌『あいらいふ』編集部
【誌名】『あいらいふvol.178（2025年7月31日発行号）』
【概要】初めて老人ホームを探すご家族さまの施設選びのポイントをさまざまな切り口でわかりやすく解説。著名人に介護経験を語っていただくインタビュー記事のほか、人生やシニアライフを豊かにするためのさまざまな情報や話題を取り上げて掲載。
【発行部数】4万部
【配布場所】市区役所の高齢者介護担当窓口・社会福祉協議会・地域包括支援センター・居宅介護支援事業所・訪問看護ステーション・病院・薬局など1万か所