展望2018:人工智慧為媒體服務賦能
人工智慧為多媒體服務帶來了更多、更有價值的新功能,讓你的媒體、你的video更加智慧化,幫助使用者獲取更好的體驗。微軟大中華區創新技術合作事業部 (CSE)資深技術顧問樑建為我們分享了人工智慧與媒體服務的契合以及未來的發展方向。
大家好,我是來自微軟創新技術合作事業部的樑建,很高興接受LiveVideoStack的邀請,跟大家一同介紹和暢想媒體服務video在未來2018年可能的發展。
2017年,我們經歷了整個媒體行業視訊服務、視訊處理的快速發展,與此同時人工智慧和區塊鏈也是去年的熱點話題,那我們就一起來看下人工智慧和我們的媒體服務如何進行結合。
人工智慧幫助我們實現更多場景
傳統的媒體服務都會做哪些事情?比如線上直播、編解碼、內容保護等等的服務,但隨著人工智慧技術的發展,很多媒體行業或者媒體業務處理行業的朋友,也在探索如何將人工智慧應用到現在的媒體技術和行業發展上,包括視訊的發展上。
大家可以思考下在哪些場景上人工智慧技術能幫助我們實現更多的場景?比如如何在越來越多的視訊中發現更好的、更需要的內容;如何讓視訊內容里人物之間產生關係;在視訊編輯和處理過程中,如何增加字幕的資訊以及多語言的支援;如何讓視訊自動的增加評論,像大家熟知的視訊裡中比較流行的彈幕;以及如何讓視訊裡產生更多的價值,比如在視訊裡如何更好的嵌入廣告,讓視訊自動的把對使用者的洞察力、想法展現出來。
人工智慧讓媒體服務更“聰明”
這裡我也想跟大家介紹在微軟的Azure雲平臺上有一個Media Services媒體服務,它不僅僅包括了傳統的視訊直播、Encode、Decode這種編解碼能力、內容保護能力,以及多渠道、多裝置的Player的能力。它還提供了Video AI的能力。也就是除了在這個傳統的Midea Services架構上,我們可以能幫助大家產生支援多種裝置的流媒體Streaming的格式。同時它還 提供了Media Analytics媒體分析,它能夠從視訊彙總產生一些洞察力,幫助大家降低人工成本,同時自動拿到更多的資訊。
在微軟的Media Analytics服務中,它融入了非常豐富的人工智慧技術:Audio Transcript能夠通過語音視訊自動生成字幕資訊;通過人臉檢測知道視訊中出現了哪些人物;通過視訊OCR把視訊中非數字的資訊轉化為數字的文字資訊;根據視訊中人臉的資訊,選取人物自動增加人臉修正;通過Video summaries智慧生成視訊的總結或片段,比如一個小時的視訊生成出一分鐘的預告或者介紹;Content moderation可以智慧稽核內容資訊,比如成人資訊、用暴力等等;以及通過比較流行的DNN深度學習演算法、神經網路來實現物體的識別。此外還有視訊的穩定、情緒識等等。由此我們可以預見在2018年,除了傳統的視訊編解碼、視訊流以及最新的視訊格式外,人工智慧技術會給我們產生更多的價值,同時幫助我們降低成本。除了以上介紹的10種AI服務,我們也相信在2018年微軟還將提供更多的智慧服務,也歡迎大家持續關注微軟Azure Media Services平臺。
除了傳統服務,微軟還提供了五大方面29類的認知服務,而這29類服務又分別都提供了自己相關的API,它不僅可以用在傳統的圖片、語音識別、知識搜尋,你可以非常方便地將它應用到自己的媒體服務中。特別的,我們還有一個最新的服務Video Indexer,我們前面提到的10種人工智慧服務都包含其中,包括translater——無論文字或者語言的,這樣對於一個視訊,它就會自動根據你的需求去進行說語音識別、人臉識別、字幕翻譯、多語言翻譯、視訊內容總結、場景分析等等。那如果你希望視訊有更多的拓展,比如知識搜尋就非常重要,你可以根據視訊去搜索相關的視訊、圖片,同樣的你還可以進行新聞的搜尋。
這裡我們還提供了Custom Services——從視覺、到語言理解、到語音服務、到搜尋都有一個定製化的體驗。其實我們的API都是通用的,只不過定製化的場景、訓練的資料是需要大家來提供。比如你希望在視訊服務中為使用者做更多的拓展搜尋,但又並不希望進行全網搜尋找到一些不想要的資訊,那麼此時你就可以利用Custom Search定義相關的網站和希望的內容,從而得到你規定的資訊。語言理解上,大家可以很方便地把一些使用者在視訊聊天對話中,給他的關鍵詞、使用者所要的意圖、定義一些場景,通過自然語義理解抽取出來。包括我們說的Custom Vision可以通過frame這種方式把視訊中的一些場景、物體識別、場景給他抽取出來,讓我們的視訊不僅僅是傳統中的觀看、編碼、streaming,同樣的你也可以通過人工智慧拿到更多的資訊。
最後,我也希望在2018年有越來越多的媒體制作、開發的合作伙伴一定將人工智慧技術用起來,讓你的媒體、你的video更加智慧化,拿到更多的資訊。同樣,我相信在2018年我們和LiveVideoStack音視訊技術社群會有非常多的合作,也特別希望把更多的人工智慧技術、更多的Media Services的服務給大家介紹出來,幫助大家更好的工作,同時帶來更多的體驗。也預祝LiveVideoStack社群越辦越好,吸引更多的開發者,能夠彙集開發者、彙集我們這些做人工智慧、做媒體服務的合作伙伴,謝謝大家!