fbpx
Search
Close this search box.

失聰工程師運用AI 發明手語即時傳譯技術

聾人跟不懂手語的人溝通很困難,要傳達感情和語調就更難。一位聾人工程師用了10年時間,研發出人工智能手語即時傳譯系統,能夠在幾秒內作口語和手語的繙譯,大大減少聾人在日常生活中遇到溝通障礙。

亞當在 TEDNext演說分享他作為聾人的經歷。(圖片:Erin Lubin/TED)
亞當在 TEDNext演說分享他作為聾人的經歷。(圖片:Erin Lubin/TED)

失聰的亞當(Adam Munder)在 Intel任職軟件工程師,他和妻子都是失聰人士,兩人有感在日常與人交往時,手語難有用武之地。他們往往要用手機輸入文字,或用紙筆書寫,以跟不懂手語的人溝通。亞當慨嘆:「這些方法買咖啡還可以吧,但在重大事情上,雙方欠缺共通語言,就造成很大障礙。」

他早前在TEDNext演說,分享自己的經歷如何激發他研發促進聾人與健聽人士溝通的解決方案。他在演講中用自己研發的人工智能即時手語傳譯系統 Omnibridge,將美國通用手語(American Sign Language, ASL)轉為人聲話語。他談到早前與妻子帶女兒到診所的不快經歷:「你能想像嗎?你去看醫生,醫生說甚麼靠你的七歲女兒傳譯。」類似情境並不是首次出現,但那一刻,亞當感到非常錯愕。

系統透過咪高風收音,用鏡頭接收手語訊息,即可作出繙譯。
系統透過咪高風收音,用鏡頭接收手語訊息,即可作出繙譯。

亞當一家居於美國亞利桑那州,當地的聽障人士數目超過110萬,而註冊的手語傳譯員卻不足400人。手語繙譯服務供不應求,而且費用高昂,不是所有聾人都負擔得來。亞當深明文字短訊或書寫通話並不是所有場合都適用,而且文字可能無法傳情達意。

他創製的OmniBridge系統,以AI引擎為核心,系統接受過ASL手語訓練,能夠識別數千個手語,並在數秒間將口語英文變成文本。軟件會生成雙向的對話,手語在電腦屏幕上會以藍色的文字呈現,而說話訊息則以灰色文字顯示。說話者姿勢或表情的微細或隱晦變化,AI系統都能夠精準地表達其意思和語氣。亞當指這項創新技術:「在聾人世界和健聽人士的世界之間搭起橋樑,拉近雙方距離,沒有誰要遷就誰。」

亞當研發 OmniBridge的原意,是為了方便在公司內掌握工程師同事之間交流的資訊。數年後,他與同事在這項技術基礎上開發有助聾人與健聽人士溝通的雙向繙譯應用程式。
亞當研發 OmniBridge的原意,是為了方便在公司內掌握工程師同事之間交流的資訊。數年後,他與同事在這項技術基礎上開發有助聾人與健聽人士溝通的雙向繙譯應用程式。

OmniBridge是亞當和團隊用上10年時間研發的,投入的資金數以百萬美元計。在研發的第五年,亞當和團隊獲Intel青睞,得到特別的技術培訓支援,令OmniBridge的發展得以大步推進。

天失聾啞的亞當說OmniBridge是他送給「年少的自己」的禮物。他憶述年少時,祖父母很喜歡講掌故,他很想聽,可惜他的母親手語繙譯能力有限,未能擔當爺孫之間的溝通橋樑。他表示:「我很渴望能夠與祖父祖母傾談,但條件所限做不到。在成長過程中,我經常因為無法好好表達自己、得到別人的理解和了解周遭的人和事而感到沮喪。」

OmniBridge是他自小就夢寐以求的科技,也是他獻給聾人社群的希望。他的心願是所有人都可以隨時隨地使用 OmniBridge。他的團隊目前正在開發雲端的應用程式,期望三至四年後再由雲端演進為手機版應用程式。現在未能推出手機版,是因為很多電子產品未有個人電腦的AI晶片,但亞當相信,隨著科技進步,智能手機將會裝上人工智能引擎,令手語即時傳譯得以在手機上進行。

OmniBridge不單有謄寫功能,而且是面對面溝通的輔助工具。亞當直言:「與人交談時,要將紙筆傳來傳去,和望著對方雙眼說話,是兩回事。」

該系統還有一個優勢──讓聾人直接用手語和自己的母語表達,不用費心思將字詞繙譯為英文。亞當相信善用人工智能可以改變世界:「改變的,不只是科技上的革新,還有人與人之間的聯繫。兩個人,一人打手語,一人說話,而雙方可以無障礙地交談,就是更緊密的溝通。」

聾人友善科技展。
聾人友善科技展。

社交網站分享:

延伸閱讀