全球首個多語言網上手語遊戲面世

中大語言學及現代手語及聾人研究中心、Google、日本財團和關西學院大學組成「Shuwa計劃」團隊，於9月23日的「國際手語日」正式推出全球首個結合人工智能和手語語言學理論的多語言網絡遊戲「手語村」，其測試版本已於今年5月在香港和日本發布，並已累積逾八千五百人使用。

「手語村」融合了有趣的場景和生動的設計，玩家需在一個以手語為主要語言的虛構小鎮上，通過電腦和網絡攝像鏡頭一邊打手語一邊完成各種日常生活任務，如「為旅行準備物件」、「尋找住宿的酒店」、或「在餐廳點菜」等。過程中，人工智能識別系統會對玩家所打手語的準確度作出回應，並通過在遊戲中隨處可見的手型模樣可愛公仔，向玩家解釋「手語」、「聾人」和「聾人文化」的概念。不論健聽或聾人皆能以輕鬆的方式，隨時隨地學習手語和聾人文化，以及香港和日本兩地手語。

「Shuwa計劃」團隊以香港及日本手語作起點，成功構建可透過一般攝影鏡頭識別不同肢體信息等三維動作的機器學習模型，追踪及分析手部動作、肢體動作和面部表情的特徵，繼而應用在「手語村」。

計劃的下一步是製作包含搜索功能、基於人工智能技術協助學習和紀錄手語的手語詞典平台。團隊的最終目標是開發一個自動翻譯模型，能夠利用常見的電腦或智能手機的鏡頭識別手語中的自然對話，將其翻譯為口語。