人工智慧為聽障學生打造全新課堂
編者按：對於聽障學生來講，如果能緊跟老師課堂的節奏、儘快掌握知識該有多麼幸福！最近，Microsoft Translator就走進了大學課堂，不僅能將老師的口語轉化為實時字幕，還能將翻譯的文字結果儲存在手機中，幫助學生們輕鬆學習。本文譯自微軟人工智慧部落格文章“AI technology helps students who are deaf learn”（有刪減）。
在美國羅切斯特理工學院一堂普通的生物課上，除了有站在講臺上授課的教授，旁邊還有負責將教授上課內容翻譯為手語的翻譯員，以及在課堂大螢幕上顯示的實時字幕。坐在臺下上課的有不少是有聽力障礙的學生。
羅切斯特理工學院生物課堂
羅切斯特理工學院有大約1500名聽力存在障礙的學生，而其中的大約700名學生會和健聽學生一起上課，他們通過綜合利用手語翻譯員和實時字幕中的資訊來掌握課堂知識。而讓課堂內容實時以字幕形式呈現的就是來自微軟的Microsoft Translator，該系統
現在，微軟正在和羅切斯特理工學院九所學院之一的National Technical Institute for the Deaf（NTID）進行合作，通過使用微軟的AI語音和語言技術幫助聽障學生更好地進行課堂學習。
Joseph Adjei
Joseph Adjei是這所學校大一的學生，他在7年之前失去了聽力。“當我第一次看到課堂上的實時字幕時，我感到非常激動”Joseph Adjei說，“課堂上顯示的實時字幕讓我可以更好地跟上課程並且掌握正確的專業術語的拼寫方式。”上課時，Joseph Adjei的視線會在手語翻譯員、教室實時字幕和手機上Microsoft Translator頁面切換，這三者之間的配合能讓他完整地參與課堂。而手機上的Microsoft Translator App還能幫助他和班裡其他聽力正常的同學在課下進行交流。
提高
聽障學生的課堂學習質量對於聽障學生來說，如果只依靠手語翻譯員的翻譯來參與課堂，那課堂的沉浸度難免會大大降低。設想這樣一個場景，老師一邊在黑板上書寫公式一邊進行講解，健聽學生可以邊聽邊抄寫這個公式，但是聽障學生卻需要暫時停止觀看手語翻譯員的手勢，看看黑板上到底寫了什麼。這樣一來，他們就會錯過很多課堂資訊，自然而然對這個課堂的參與感也會大大降低。
羅切斯特理工學院為了解決這個問題，僱傭了140名全職的手語翻譯員和50多名實時字幕輸入員，字幕輸入員利用學校自己開發的C-Print技術將字幕實時顯示在聽障學生的電腦上。除此之外，許多學生會共享他們的課堂筆記，以幫助聽障學生不錯過課堂內容。但隨著越來越多的聽障學生進入課堂，這些方法無法滿足所有人的需求。因此，羅切斯特理工學院需要一種更好的解決方案——藉助自動語音識別技術。
自動
語音識別技術羅切斯特理工學院最初在自動語音識別技術上的研究並不順利，因為機器很難理解科學和技術術語，生成的文字可讀性也比較低。比如，如果一位老師在談論9·11事件，系統只會拼寫出“n-i-n-e-l-e-v-e-n”，卻不能進一步為使用者提供一種更加易於辨認和理解的文字形式。
為了解決這一問題，羅切斯特理工學院的研究人員開始與微軟機器翻譯團隊合作，共同開發了專門針對課程材料的自定義語言模型，並在課堂上試用添加了這一技術的Presentation Translator。為了建立這些語言模型，研究人員從一些教授近十年來所用的課件簡報以及之前通過C-Print技術手動生成的字幕中挖掘了大量的資料資源。進而，在微軟認知服務的自定義語音服務（Custom Speech Service）中利用這些資料以構建特定領域單詞的發音模型，當說話人再說到這些單詞時，系統就能輕鬆地識別並在實時記錄中顯示為對應的文字。
不僅如此，Microsoft Translator的實時字幕還能為手語翻譯員所翻譯的資訊做出補充和完善。事實上，手語翻譯員有時也會漏掉一些課堂資訊，某些科學術語也很難表達，對此，實時字幕則可以很好地進行補充。但手語翻譯員也有他們的優點，比如他們可以用一個動作表達很多單詞的意思。所以在未來的課堂中，Microsoft Translator並不會取代手語翻譯員，而會輔助他們的翻譯工作，兩者之間相互配合，共同幫助學生更好地學習課堂知識。
除此之外，字幕這種溝通渠道也可以幫助更多普通人獲得資訊。Microsoft Translator的手機應用程式允許學生儲存教師授課的口語轉換結果。藉助於Microsoft Translator的幫助，不僅聽障學生能夠更好地參與到課堂教學中，更加連貫、完整地接收課堂知識，更多的健聽學生也可以更加輕鬆、高效地學習。
微軟技術院士，負責微軟語音、自然語言和機器翻譯工作的黃學東表示“語言是驅動人類進步的動力，它增強了人們之間的合作、溝通和學習”。近年來，深度學習的引入使得語音識別技術有了快速的發展。去年8月份，微軟在Switchboard對話語音識別任務中已經將錯誤率降低到了5.1%，可與專業速記員比肩。利用這項技術的不斷突破，我們希望可以幫助更多人更好地學習和溝通。
你也許還想看：
感謝你關注“微軟研究院AI頭條”，我們期待你的留言和投稿，共建交流平臺。來稿請寄：[email protected]。
相關推薦
人工智慧為聽障學生打造全新課堂
編者按：對於聽障學生來講，如果能緊跟老師課堂的節奏、儘快掌握知識該有多麼幸福！最近，Micros
打造專遞課堂，即構成為希沃專遞課堂實時音視訊技術唯一提供方
日前，在南昌舉辦的第75屆中國教育裝備展上，希沃和即構zego打造的互動錄播方案亮相。現場將展廳設定為授課教室，廣州、贛州、南昌三個分會場為聽課教室，以每分鐘一場的高頻次互動演示，模擬了身處不同地區的4個教室的互動教學，現場效果令人震撼。 據瞭解，該方案也稱“專遞課堂”，目前已在江西、雲南
新智慧管理APP，為服務商量身打造
采寶管理APP 采寶支付服務平臺 盼望著，盼望著，屬於咱們采寶服務商自己的“采寶聯盟APP”，今天正式上線了！合作夥伴們（包括管理員、業務員賬號）除了可以繼續在“采寶服務商後臺系統”操作外，在手機上下載安裝一個“采寶聯盟APP” ，就能盡享“一機在手，商戶我有”的暢快！
一個全新的免費的平臺！打造全新的消費與營銷理念。
資源 擁有 本地化 千萬 移動互聯 理念 依據 以及 休閑 關於我們： 免費奇境(Free Wonderland)：http://www.free1818.com/，總部位於中國?上海。平臺通過信息產業部正式備案登記，提供24小時在線客服，業務範圍覆蓋中國大陸全境以及北美與
DL之RNN：人工智慧為你寫歌詞(林夕寫給陳奕迅)——基於TF利用RNN演算法實現【機器為你作詞】、訓練&測試過程全記錄
DL之RNN：人工智慧為你寫歌詞(林夕寫給陳奕迅)——基於TF利用RNN演算法實現【機器為你作詞】、訓練&測試過程全記錄 輸出結果 1、test01 你的揹包 一個人過我 誰不屬了 不甘心 不能回頭 我的揹包載管這個 誰讓我們是要不可 但求跟你過一生 你把我灌醉 即使嘴角
DL之RNN：人工智慧為你寫周董歌詞——基於TF利用RNN演算法實現【機器為你作詞】、訓練&測試過程全記錄
DL之RNN：人工智慧為你寫周董歌詞——基於TF利用RNN演算法實現~機器為你作詞~、訓練&測試過程全記錄 輸出結果 1、test01 夕海 而我在等待之光 在月前被畫面 而我心碎 你的個世紀 你的時間 我在趕過去 我的不是你不會感覺媽媽 我說不要不要說 我會愛你 我不要你不
【觀察】Hitachi Vantara：為中國“量身打造”，本地化發展再提速
申耀的科技觀察 讀懂科技，贏取未來！ 毫無疑問，中國是全球企業級儲存市場不斷增長的一個強有力的“助推器”。 根據IDC報告，2018第一季度全球外部磁碟儲存市場相對2017年同期增長19.3%，中國佔全球儲存整體市場的份額達到9.0%
DL之RNN：人工智慧為你寫歌詞(林夕寫給陳奕迅)——基於TF利用RNN演算法實現【機器為你作詞】、訓練&測試過程全記錄
DL之RNN：人工智慧為你寫歌詞(林夕寫給陳奕迅)——基於TF利用RNN演算法實現【機器為你作詞】、訓練&測試過程全記錄 輸出結果 1、test01 你的揹包 一個人過我 誰不屬了 不甘心 不能回頭 我的揹包載管這個 誰讓我們是要不可 但求跟你過一生 你把我
[置頂網]POWER 9為雲與智慧打造強大引擎
POWER 9為雲與智慧打造強大引擎 關鍵字： 浪潮商用機器 POWER9 至頂網伺服器頻道 （文/董培欣）： 從全球角度看，政治經濟波動持續、逆全球化趨勢擡頭、技術加速變革商業等因素促使企業需要數字化轉型。
大資料早報：三星設立新人工智慧研究中心 北京銀行聯手京東金融用人工智慧為客戶“畫像”（11.24）
資料早知道，上樂投網看早報！ 『融資』用大資料服務實體商業 “商圈雷達”完成2000萬元Pre-A輪融資 一站式商圈大資料平臺“商圈雷達”完成春曉資本領投、水木資本等機構跟投的2000萬元Pre-A輪融資。資金將用於整合商圈大資料來源、加大產品研發的投入。“商圈雷達”隸屬於上海小滿資訊科技有限
為成長型企業打造高效能方案，這家品牌依舊是不二之選
幫助企業成長，ThinkPad推出高效能方案近年來，IT資訊科技的快速發展，在推動企業高效運營的
【一步一個腳印】Tomcat+MySQL為自己的APP打造伺服器（1）伺服器環境搭建
做 Android 開發一年多了，雖然不敢說有多精通，但也相對熟悉。做久了就會發現 Android 在行外人眼中是多麼高深（包括 IOS 也一樣），但是我們自己知道其實 Android 和 Web 前
AWS 神器為資料科學家輕鬆打造機器學習全流程 –– EMR Spark + SageMaker 黃金搭檔
工欲善其事，必先利其器。在機器學習的世界裡，要想成為一名出色的資料科學家，必須要善於使用機器學習的工具。 資料科學家經常使用 Apache Spark 來做資料的預處理，Apache Spark 提供的 MLlib 庫不但包含很多常用的機器學習演算法（如 K-Means，分類
【一步一個腳印】Tomcat+MySQL為自己的APP打造伺服器（3-1）Android 和 Service 的互動之GET方式
好久沒更新了，罪過罪過。最對不起的人莫過於那些支援和等待在下拙文的諸位，在此道一聲抱歉。管窺之見，僥倖博得各位認同，給了我莫大的鼓勵。 話休絮煩，文接前章。 到【一步一個腳印】Tomcat+MySQL為自己的APP打造伺服器（2-3）Se
【一步一個腳印】Tomcat+MySQL為自己的APP打造伺服器（3-2）Android 和 Service 的互動之POST方式
今天是聖誕節，雖說我本人對這個西方節日沒什麼感覺，但畢竟還是有很多小年輕人（自認為已然脫離年輕人的航道）挺在意這個節日的，在這裡祝大家聖誕快樂吧（要是湊巧你也沒什麼感覺，那就預祝元旦快
【一步一個腳印】Tomcat+MySQL為自己的APP打造伺服器（4）完結篇
在這個系列的前幾篇文章中，從最初簡單的伺服器環境搭建、MySQL資料庫的安裝、Servlet 的原理及使用、資料庫的連線及CURD操作、Android和伺服器GET/POST資料互動，到最後JSon格式報文的使用，我們已經將這個過程完整的走完一遍，但是其中
定義一個二維陣列，內容為三個學生的四門課成績，求出每個學生四門課的平均分並輸出，再求出每門課三個學生的平均分並輸出！
// 121211 作業1.cpp : 定義控制檯應用程式的入口點。 // /* * Copyright (c) 2012, 煙臺大學計算機學院 * All rights reserved. * 作 者： 劉同賓
TC Games 電腦玩手遊助手會員無水印版，專為遊戲直播玩家打造
Tcgames 電腦玩手機助手會員無水印版已經上線了，無水印版除了服務於遊戲直播使用者、遊戲工作室之外還增加多項功能和服務，讓你在用電腦滑鼠鍵盤大屏操作遊戲的時候更加方便快捷。1、使用tcgames投屏/錄屏功能均無水印。2、可以把自定義遊戲上傳到賬號。讓你換臺電腦同樣可以使
用Ueditor為Asp.net mvc打造視覺化HTML編輯器
在Asp.net WebForm時代，Web系統的HTML視覺化編輯器可以使用FTB一類的控制元件，直接引入工具箱拖拉即可實現。但是在Asp.net MVC時代，直接使用伺服器端控制元件是不符合MVC