【短片】【創科技術】AI模型實現手語口語雙向翻譯 傷健合作發明助聽障者溝通

//與聽障人士溝通,單靠文字可能會有詞不達意的情況發生,有了這台「手語翻譯機」,聽障人士溝通可以更順暢、準確!//


這部「手語翻譯機」可以即時傳譯手語和面部表情,方便聽障人士獲取資訊、與人溝通。


團隊成員,聽障人士Danny用手語說:「我去就診時,我寫了很多東西給醫生看,醫生可能只簡單回答我關鍵內容,我覺得會有些有口難言的感覺。」


手語是聽障人士的母語,他們雖然可以通過文字交流,但仍然會有溝通問題,有聽障和健聽成員組成的三人團隊研發出「通過生成手語改善溝通」AI模型,獲得政府資科辦「人工智能創新應用」創科比賽大獎,在香港國際創科展展出。


團隊成員Janice說:「對於聾人來說,我們時常覺得他們看得見,我們寫字給他們看就可以,但這是我們常有的誤解,聽障人士到底在文字上能獲得多少資料,這是我們忽視的環節,大家試想一下,我們溝通所用的中文、英文、日文,全部都是用口說的語言,演化而成的文字,先有『語言』,再有『語文』,所以在學習第二語言的時候,聆聽是一個很重要的部分,如果沒有聲音輸入,我告訴你『A, B, C』不是唸『A, B, C』,你覺得對你掌握英文有沒有困難,這就是聽障人士面對的問題。」


開發團隊成員Janice也有聽力障礙,她很明白聽障人士的困境,希望研發一個便利的工具幫助改善這個情況:「本身我自己單邊耳朵失聰,在團隊我是介乎健聽和聾人之間,我理解失去聽覺對日常生活的影響,就算我自己單邊耳朵能聽到,都有一定程度的影響,單一方式溝通讓聽障人士容易感到被整個社會孤立,孤立這個感覺是最難受,並不只是接收少些訊息,而是很難融入群體。」


目前模型已學習100組香港手語詞彙,可以透過程式進行口語和手語的雙向翻譯,但仍有2000多組日常用字未被收錄,暫時未能在市面上推出。團隊希望這項技術能廣泛應用,幫助聽障人士隨時獲得準確、全面的資訊。隊長Cari說:「這幾天很多『聾友』來參觀展覽,他們看到模型都很開心,覺得模型能幫助他們日常生活,我們也感到很開心,我們希望模型可以更廣泛地應用出去,讓更加多人可以受惠,除了開發自己的應用程式,在其他社交平台,如WhatApp、微信,我們都希望可以使用模型。」


隊員Janice說:「香港現在只有50多個註冊手語翻譯員,聽障人士有20多萬,這個落差有多大,差不多是4000多人,共用一對耳朵、一張嘴巴,我們希望模型可以飾演手語翻譯員的角色,幫助我們和聾人中間的溝通。」


請Follow我們的YouTube頻道:https://bit.ly/2kgU8qg


下載我們的手機應用程式,收看第一手精彩內容:https://www.speakout.hk/app


瀏覽我們的IG:https://www.instagram.com/speakout_hk/?hl=zh-hk

5
好正
3
心心眼
2
好好笑
0
令人傷心
0
嬲爆

評論