微軟亞洲研究院的30項創新技術詳解(2)
紋理貼圖能夠極大提高3D模型的真實感和豐富它的表面細節,這種技術已經廣泛應用於電影和遊戲中。但是,將多張來自現實生活的圖片貼到一個3D模型上,並且達到低的影象視覺扭曲,一直以來都是一個非常痛苦且耗時的工作,這是因為整個過程完全依賴於數字藝術家的手工操作,生產效率非常低。為此,微軟亞洲研究院開發了“貼圖蒙太奇”技術,它以幾乎全自動的方式工作,能夠將多幅圖片無縫的貼圖在任意複雜的3D模型上,整個過程只需非常少量的人工互動,大大提高了生產效率。
·視覺模擬
做舊技術通過給虛擬場景新增歲月留下的痕跡,比如汙漬、鏽跡、裂縫、劃痕來增強它的真實感。而微軟亞洲研究院所開發的是一種能夠很好模擬許多變舊現象的虛擬模擬技術,它通過在場景中跟蹤大量我們稱為γ粒子的特殊粒子來模擬物體變舊過程,這些粒子能夠在場景中傳播變舊資訊。利用這種技術,我們能構造與場景幾何相符的變舊效果,設計各種汙染源——許多目前技術很難實現的效果都可以通過γ粒子跟蹤獲得,比如全域性汙漬滲透、複雜的多重變舊現象等;此外,γ粒子跟蹤技術不止能夠模擬表面的變舊現象,還能夠模擬歲月給物體帶來的幾何形變。
·新聞搜尋
為了更好的展示新聞搜尋的結果,微軟亞洲研究院設計了一個多媒體的新聞閱讀器。在該閱讀器中,新聞文字、地圖資訊、新聞圖片以及背景音樂被有機的結合在一起,從而為使用者提供一個全新的閱讀新聞的體驗。
·搜尋結果的圖片式摘要
傳統的網路搜尋引擎往往忽略了網頁中很多的有用資訊,比如圖片、Flash動畫等等;同樣,多媒體搜尋引擎則往往忽略了文字資訊,使使用者很難理解反饋回來的搜尋結果。而微軟亞洲研究院的Image Snippet技術則徹底改變了這種搜尋體驗——通過對搜尋引擎的訪問記錄分析,我們發現使用者的訪問主要集中在網頁搜尋上,因此我們為網頁搜尋設計了一個新的介面,用以展示搜尋結果。我們從搜尋引擎返回的網頁中,抽取出一些最有價值的影象插入搜尋結果中,這樣的介面設計有效地利用了網頁中的非文字資訊,迄今已經受到測評使用者的普遍好評。
·影象搜尋結果聚類
該影象搜尋結果技術能夠實時地將某搜尋引擎的結果聚類。它彌補了傳統搜尋引擎將搜尋結果顯示成列表方式、從而難以瀏覽的缺陷。而我們的技術將搜尋結果組織成層次的方式,使使用者能夠迅速確定所需要的結果的位置。
·搜尋結果聚類
搜尋結果聚類技術由微軟亞洲研究院網路搜尋與挖掘組開發。它對搜尋引擎的查詢結果線上進行分組,併為這些分組選取合適的命名。該技術把傳統的搜尋結果表達方式變得更加易於瀏覽。常規的聚類演算法並不適合這個應用,因為搜尋引擎反饋回的摘要比較短小,而且一般的聚類演算法運算複雜度較高難以實現實時計算。我們開發的技術從另一方面解決了這個問題。我們的基本做法是首先找到典型的獨立主題,然後再把已有的搜尋結果按照一定規則分配到這些主題之下,從而實現層次化的瀏覽介面。
·視訊搜尋
視訊搜尋正在成為網際網路搜尋領域備受關注的焦點之一,然而其侷限性也日益突出:首先,目前的視訊搜尋引擎全部都是基於直接文字(包括相關網頁文字,視訊指令碼,或語音識別等)索引,這些能夠直接獲取的文字資訊常常與真正的視訊內容大相徑庭;另一方面,由於視訊有時間性,簡單的視訊搜尋的結果列表不能有效幫助使用者快速瞭解這些視訊的內容,因而難以儘快找到想要的視訊;此外,包括視訊搜尋在內的線上視訊服務的商業模式仍不清晰,線上視訊廣告的相關性遠不令人滿意。
經過多年的研究,微軟亞洲研究院的視訊搜尋技術能夠:
1.更有效地為視訊建立索引;
2.更高效地組織和呈現視訊搜尋結果;
3.提供更智慧的視訊廣告策略,並實現網際網路上高效的視訊編輯和共享。
·購物搜尋
今天,無數有價值的商品資訊散佈在網際網路得各個角落,但使用者仍然很難從網際網路上有效獲得這些產品資訊和進行比較購物。通過多年的積累,微軟亞洲研究院建立了一個強大的工具集,包括分類、抽取、整合、排列等等,從而有效地從網際網路中發掘產品資訊,建立全新的商品搜尋引擎,使使用者通過Shopping Search能夠獲得輕鬆、便捷的購物體驗。
·偽均勻半透明材質的建模與繪製
在真實世界中,大量的物體是半透明的並具有豐富的表面的細節,象麵包,海綿,等等。這些物體在不同的光照條件下,呈現出複雜的光照效果。如何對這類材質建模是計算機圖形學裡面一個具有挑戰性的問題。在這裡,我們展示了我們新近開發的一項技術,可以對這類材質進行有效的建模,並從真實的物體樣本中獲得材質特性。從而使人們第一次可以在計算機上快速生成這類物體的真實影象。
·卡通變形傳輸
變形技術是計算機動畫的關鍵性技術之一。許多好萊塢電影中的特效都依賴於變形演算法實現。其中,把在一個二維或者三維物體上製作好的變形動畫應用到另外一個物體上,是計算機動畫中的熱點研究話題,它在電影工業中有很重要的應用價值。微軟亞洲研究院發明了一項微分域三維物體變形技術,能夠將卡通中的二維動畫重用到三維物體上。僅需簡單地在卡通的二維角色和三維物體之間定義幾條對應曲線,該項技術就能夠自動生成三維物體
·方言語音合成系統
語音合成技術已經在許多領域被廣泛的應用,最新的應用擴充套件到了娛樂領域。在新的應用領域:諸如可以說話的遊戲,電子書閱讀器,語音儲存管理服務或語音多媒體資訊業務等領域中,豐富的語音變化的的需要成為了語音合成系統的一個重要特徵。絕大多數中文語音合成系統只能說標準的普通話,而我們這裡展示的語音合成系統將會說很多北方方言
·個性化的語音合成系統
一般的語音合成系統說話的方式很像播音員在朗讀新聞。然而,在某些應用場合,使用者並不滿足於這樣的聲音,他們希望計算機可以用聲情並茂的聲音向他們的孩子說故事,或者希望用他們本人的聲音給家人或朋友讀電子郵件。這就是個性化語音合成系統。微軟亞洲研究院語音組開發的語音合成系統木蘭(Mulan)將被預裝在下一代的微軟作業系統Windows Vista中。
·全解析度視訊穩定
隨著數字影象的不斷普及,視訊訊號增強技術變得越來越重要。而視訊穩定是最重要的增強技術之一,它消除了影象不必要的抖動,並補償丟失資訊,產生一段新的高質量視訊。通常,手持攝像機拍攝的家庭視訊,由於不可避免的抖動,會產生不理想的視訊影象。為了能夠更好的滿足家庭使用者的需求,微軟亞洲研究院開發了一種實用的視訊穩定技術,以產生高質量的全解析度穩定視訊。