據(jù)外媒報道,日本電氣科技大學和軟銀公司可以通過人工智能AI技術(shù)直接將手語翻譯成日語,這將使聾啞人之間的交流更加順暢。
目前,該系統(tǒng)只能在柜臺設(shè)備上使用。聾人可以通過手語在鏡頭前交流。然后系統(tǒng)利用圖像識別技術(shù),分析人體手指、手臂等幾個部位的骨骼運動,將手勢翻譯成日語,顯示在工作人員的電腦屏幕上。然后,口頭回復以文字的形式出現(xiàn)在聾啞人面前的屏幕上,使交流更加順暢。
該系統(tǒng)的核心技術(shù)由2018年谷歌投資的ABEJA提供。ABEJA的核心產(chǎn)品是利用機器學習幫助公司從數(shù)據(jù)堆中進行業(yè)務(wù)分析。在這個項目中,ABEJA讓AI學習了5萬個手語視頻,這樣它就可以捕捉手語的特點和變化。目前,該系統(tǒng)可以將手勢準確翻譯成約1500個日語單詞。
早在2015年,就有關(guān)于手語識別的研究。
人工智能技術(shù)的出現(xiàn)和逐漸成熟,不僅有利于產(chǎn)業(yè)升級,事實上,從很早開始,就有研究人員嘗試用AI技術(shù)幫助聾人更順暢地交流。
2015年9月,沙特一位設(shè)計師專門研發(fā)了一款內(nèi)置傳感器的無線智能手套。當聾啞人進行交流時,傳感器可以根據(jù)手指運動跟蹤手勢,然后通過語言軟件將其轉(zhuǎn)換為聲音和單詞。在初期,這款無線智能手套只能說法語、英語和阿拉伯語,研究團隊表示未來將支持更多語言。
我國早就有相關(guān)研究。2016年,有媒體報道東大自動化專業(yè)的李寧等同學開發(fā)了一種新型手語識別發(fā)聲系統(tǒng),這是一種結(jié)合了人體生物和姿勢信息的便攜式手語發(fā)聲裝置。聾人可以通過手語讓機器發(fā)聲和翻譯。
2018年,東北大學還開發(fā)了一個智能系統(tǒng),幫助聽力障礙者進行交流,該系統(tǒng)由一個智能傳感器手環(huán)、一個前端APP和云服務(wù)組成。智能傳感器手環(huán)可以捕捉和識別聽力障礙者的手語動作,并轉(zhuǎn)換成云端的文字和聲音,呈現(xiàn)在APP端,傳輸給非手語用戶。同時,非手語用戶的語音可以在APP端轉(zhuǎn)化為文字和手語動畫的“雙語形式”。
百度、騰訊等互聯(lián)網(wǎng)巨頭也進行了相關(guān)研究。2019年,百度在AI開發(fā)者大會上提出了“人人都能AI”的理想,意思是每個人都能平等地擁有接收AI的能力。百度基于百度飛槳的開源內(nèi)容構(gòu)建了一個訓練模型。通過收集手勢數(shù)據(jù),并在手機的幫助下將其轉(zhuǎn)換為短信,聽力障礙的人可以像咖啡館和餐館里的正常人一樣,使用翻譯來點菜和交流。
優(yōu)圖人工智能手語翻譯界面
同樣是在2019年,騰訊優(yōu)圖實驗室還推出了一款基于自研算法的優(yōu)圖AI手語翻譯機,該翻譯機使用普通攝像頭作為手語采集設(shè)備,用戶正在向攝像頭完成手語表達,翻譯機通過后臺操作可以快速將手語翻譯成文字。據(jù)介紹,UTO AI手語翻譯機的數(shù)據(jù)集涵蓋了近千個日常表達,包括900個常用詞,同時對數(shù)據(jù)進行分析總結(jié),是目前最大的中文手語識別數(shù)據(jù)集。
手語識別技術(shù)面臨巨大挑戰(zhàn)。
與其他AI視覺識別技術(shù)相比,手語識別的研發(fā)難度更大。在東北大學2018年的研究中,揭示了手語言識別研究中的實際問題,即每個聾人的手語規(guī)劃不同,同一單詞所扮演的手勢也不同,因此智能識別可能不那么準確。
幸運的是,2018年中央發(fā)布了《國家通用手語標準方案》,極大地有利于后續(xù)手語向文字或語音轉(zhuǎn)換的研究。即便如此,仍可能存在微妙的差異
百度還談到了另一個主要困難,那就是用于訓練模型的數(shù)據(jù)量很小。在上述日語項目中,一位參與開發(fā)的軟銀工程師也表示,需要大量的手語數(shù)據(jù)來構(gòu)建一個能夠?qū)⒎枩蚀_翻譯成日語的模型。因此,他們呼吁更多的人通過網(wǎng)站等方式發(fā)送手語圖像數(shù)據(jù)。
總結(jié)
在提升服務(wù)業(yè)的同時,AI技術(shù)也能極大地幫助聾啞人更好地交流,這是這個時代的福音。根據(jù)第二次全國殘疾人抽樣調(diào)查結(jié)果,我國有聽力障礙者2780萬人。使用人工智能技術(shù)將手語實時翻譯成單詞和聲音將是非常有意義的。
日本聾人聯(lián)合會認為,要讓人工智能成為聾人的有效工具,還需要很長時間。然而,顯而易見的是,從2015年到現(xiàn)在,手語識別正在逐步取得進展,相當多的研究人員和企業(yè)參與其中。未來取得更大的進步還是值得期待的。