AIは手話の学習にどのように役立つか

手話の学習は容易ではなく、それを教えることはさらに困難です。手話では手の動きだけでなく、口の動き、表情、体の姿勢などを使って意味を伝達します。この複雑性のために、専門的な教授プログラムは未だにほとんどなく、しばしば非常に高価なものです。しかし、AIの支援を少し受けるだけで、この事情はすぐに変わるかもしれません。

同僚と私は、自動化された直感的な方法で手話を自習することのできるソフトウェアに取り組んでいます。現在、このツールは、スイスドイツ語手話で、生徒が手話を行う方法を分析し、手の形、動き、位置、タイミングの向上を図るための詳細なフィードバックを提供することが出来ます。しかし、私たちはこのツールを支えているAIを利用して、世界中の様々な手話を教えることのできるソフトウェアを開発したいと思っています。その際には、各手話に固有の特徴、例えば文法やコミュニケーションにおける手以外の要素などをさらに多く考慮するつもりです。

これまでAIは、手話の認識、翻訳、解釈に使われてきました。しかし、実際に個人の行う手話を評価しようと試みたのは私たちが初めてだと思っています。さらに重要なことに、私たちはAI技術を使って、ユーザーに対して。彼らのミスについてフィードバックを与えたいと考えています。

手話の練習と評価が困難なのは、それを読んだり書いたりできないことが原因です。そこで、私たちはコンピュータゲームを作りました。手話を練習する際には、ゲームが手話のやり方を教える動画を流してくれるか、もっとも近い言葉でそれを説明してくれます(もしくはその両方を行います)。その後にビデオカメラを使って、あなたが手話を再現しようとしている様子を録画して、改善方法を教えてくれます。ゲーム形式にすることで、人々が最高点を目指して競い、その過程で手話を改善させる刺激になると、私たちは気が付きました。

人工知能は手話の評価のあらゆる局面で使われています。まず、畳み込みニューラルネットワーク(CNN)は、あなたの上半身の姿勢についての情報を動画から抽出します。CNNとは、大まかに言えば、脳内の視覚野が行っている処理に基づいた一種のAIです。その後に、あなたの骨格姿勢の情報と元々の動画が手話分析システムに送信され、そこで別のCNNが動画を観察し、動画の中の各時点での手の形の情報を取り出します。

それから骨格情報と手の形は、隠れマルコフモデル(HMM)と呼ばれるもの使用する、手の動作分析システムに送られます。この種のAIによって、時間の経過に沿って、骨格と手の形の情報をモデル化することが可能になります。システムはその後、観察した内容と、手話の完全な形を示す参照モデルを比較し、どれほど一致しているかを示すスコアを出します。

手の形分析システムと手の動き分析システムの両方の結果がスコア化され、フィードバックとして提供されます。このように、AIの要素はすべて使いやすいインターフェースの背後に隠れており、ユーザーは学習に集中することが可能です。自動の個人向けフィードバックによって、学生が手話学習により熱心に取り組んでくれることを私たちは望んでいます。

教室でのAI導入

現在のところ、このシステムはスイスドイツ語の手話にしか対応していません。しかし、私たちの研究では、他の言語を扱う際にも、システムの「構造」を変える必要はないことが示されました。システムを訓練するためのデータとして機能する、各言語の動画が必要になるだけです。

私たちが取り組みたい研究分野は、AIの既存知識を利用して、AIが新しい言語を学習する作業をどのように支援することができるかというものです。また、手話を行っている最中の、例えば表情などの、コミュニケーションの他の要素をどのように追加することができるかも研究したいと考えています。

現在のところ、このソフトウェアは教室などのシンプルな環境でもっとも効果を発揮しています。しかし、システムが評価を行っている動画のバリエーションをさらに多く含むように発展させることが出来れば、それは、専門家の助けなしにどこにいても言語を学習することが可能な、多くの人気アプリのようになるでしょう。この種の技術が開発されているので、手話の学習は話し言葉の学習と同じくらいアクセスしやすいものとなるでしょう。

この記事は、The Conversation に掲載された「How Ai could help you learn sign language」を翻訳したものです。