1. 程式人生 > >訊飛語點,移動靈犀,搜狗語音助手對比測試

訊飛語點,移動靈犀,搜狗語音助手對比測試

訊飛語點(yd)和移動靈犀(lx),搜狗語音助手(sg)評測, 暫時沒把智慧360,蟲洞包含進來。

已有參考:

http://article.pchome.net/content-1571163-2.html

http://www.cctime.com/html/2012-9-30/20129302033343626_4.htm

測試場景:

簡訊,電話,控制命令等基礎的功能這次沒有測試,參見上面給出的參考。本次測試主要關注一些生活服務。

測試方法:

三個手機同時開始錄音,採集的是同樣的音訊。

問:從南京到蘇州坐什麼車?

yd:開啟qunar.com的航班查詢頁面。

lx:提示沒有航班資訊,資料提供是12580.

sg:開啟搜狗地圖,搜尋公交車。

問:明天從蘇州到南京的火車票。

yd:qunar.com 火車票資訊。直接展示。

lx:火車票資訊。 直接展示。

sg:火車票資訊。

問: 查詢後天從上海到廣州的航班。

yd:qunar.com

lx: 顯示12580上的航班資料。

sg:酷訊旅遊搜尋機票。 需要一次點選操作。返回不方便。

問: 我下週計劃去三峽旅遊。

yd:開啟android市場搜尋“計劃”

lx:開啟MM市場搜尋“計劃” , 點開一個,最終下載失敗。

sg: 提示“下週再見”

問: 最近去哪裡旅遊比較好。

yd:“乘興而來,xxx”

lx:“乘興而來,xxx”

sg:推薦“麗江,杭州,北京”

問:那麗江有什麼好玩的?

yd,lx,sg,識別出錯, yd的要稍好一點。都能識別出”好玩“,yd和lx開啟地圖。

問: 杭州有什麼好玩的?

yd,lx開啟”杭州“的地圖。

sg:推薦若干景點,資料來自大眾點評。

問:冬天吃什麼比較好?

yd和lx,開啟地圖。

sg:給出冬季飲食原則。

問: 我要上當當買一本書。

yd和lx,開啟本地應用列表。

sg:沒理解。

問:查一下科大訊飛的股票。

yd和lx:查詢股票。sina.com的資料。

sg:沒有找到資訊。

問: 查一下圓通快遞的電話。

yd和lx: 找不到圓通快遞。

sg:顯示圓通快遞客服電話。

問: 我餓了。

yd和lx,sg,給出一些提示資訊。

問:查一下NBA比賽的情況。

yd和lx,開啟百度搜索nba比賽。

sg,未識別。

問: 開啟新浪部落格。

yd和lx,在本地應用中查詢”新浪部落格“

sg,開啟網頁。

問:湖人隊不行了麼?

sg:”永遠頂湖人“, 識別差一個字。

yd和lx:blahblah

查一下”宮保雞丁“的菜譜。

yd和lx:開啟百度搜索百度。百度第一個結果展示了菜譜細節(美食天下菜譜)

sg:識別不完全。

”宮保雞丁“怎麼做?

yd和lx:文字顯示做法。

sg:從”美食傑“獲取了詳細的做法資訊和圖片。

辛棄疾的京口北固亭懷古

yd和lx:搜尋”辛棄疾“,顯示百科資訊。

sg:正確顯示詞的全文。

唐朝女詩人有哪些?

yd和lx:識別錯誤。

sg:給出正確結果。

中秋節英語怎麼說?

yd,lx,sg:都給出了正確結果。

中秋節俄語怎麼說?

yd和lx:搜尋”中秋節“

sg:給出了一個答案。答案資料來自:??


下載莫言的小說紅高粱。

yd和lx:顯示搜尋的”紅高粱“資訊。

sg: 泡泡讀書的下載按鈕,軟體介紹。(木螞蟻提供的資料)

下載二維碼掃描軟體:

yd和lx:顯示文字搜尋結果。

sg:直接顯示軟體列表。

完成大眾點評網上資訊的查詢:

找一個羽毛球館。

yd和lx:開啟百度搜索“羽毛球館”

sg:顯示場館資訊列表:價格,電話,距離,評價等資訊。(資料來自大眾點評)

附近有檯球室麼?

yd和lx:開啟地圖搜尋“蘇州市xxxx街檯球室”

sg:顯示場館資訊列表:價格,電話,距離,評價等資訊。(資料來自大眾點評)

我要預訂網球場 / 預訂一個足球場

都沒有正確操作,僅僅顯示了一些沒用的提示資訊。

搜一下xxx游泳館的團購票。

都沒有給出有用資訊。

美食:

附近有什麼西餐廳?

yd:顯示餐廳列表和資訊。資料來自大眾點評。

lx: 沒有找到資訊。

sg:商店列表。 資料來自大眾點評。

獨墅湖高教區有什麼川菜館?

yd:沒有找到資訊。

lx:沒有找到資訊。

sg: 正確顯示列表。

我想吃湘菜。

yd:顯示餐廳列表和資訊。

lx:沒有找到資訊。

sg: 正確顯示列表。


幫我找一個咖啡館。

yd:顯示餐廳列表和資訊。

lx:沒有找到資訊。

sg: 正確顯示列表。

哇哇叫幹鍋怎麼樣?

三個都沒有給出有用資訊。

哪裡可以訂生日蛋糕。

yd和lx:提示無用資訊。

sg:顯示蛋糕店列表。

 找一下火鍋團購券。

都識別出錯。

有沒有餐館的團購券。

yd:dianping網餐廳列表。

lx:dianping網餐廳列表。 12580上沒有找到資訊。

sg:沒有正確資訊。

找一個人均消費50以內的餐館。

yd和lx:搜尋。

sg:沒有有用資訊。

水天堂餐廳怎麼樣?

yd和lx:理解出錯,無有用資訊。

sg:名稱包含“水天堂”的餐廳列表。

購物類:

我要配一副眼鏡。

三個都沒有用資訊。

附近有什麼購物廣場。

yd和lx:開啟地圖。

sg:“中關村附近的購物廣場xxxxx”

附近哪有賣小孩衣服的?

yd和lx: “這個問題,問了一圈,都不會”

sg:顯示了商場列表。  dianping網資料。

我想買點碧螺春。

yd和lx:識別出錯,試了多次都識別出錯。

sg:“別光想,行動吧”

我要買點感冒藥。

三個都沒有反饋有用資訊。

附近哪有藥店?

yd和lx:開啟地圖。

sg:顯示藥店列表。

這裡有沒有鮮花店? / 附近有沒有鮮花店?

yd和lx:開啟地圖。

sg:開啟sougou地圖,顯示花店標記。

附近有沒有書店?

yd和lx:開啟地圖。

sg:顯示了書店列表。 資料不全。

休閒娛樂類:

查一下科文中心的電影票。

yd和lx:識別出錯,開啟搜尋頁面。

sg:無用提示。

買一張獨墅湖電影院的票。

三個都提示無用資訊。

附近哪裡有唱歌的地方?

yd和lx:播放本地歌曲。

sg:搜尋KTV。 資料來自dianping。

幫我找一個酒吧。

yd和lx:沒有找到附近的酒吧。

sg:提示無用資訊。

十全街有哪些酒吧?

yd和lx:沒有找到酒吧。

sg:開啟搜狗地圖,顯示酒吧標記。

附近哪有足療的地方。

yd和lx:開啟地圖。

sg:顯示商家列表和資訊。

有沒有電影團購票。

三個都沒有有用資訊。

我要去拙政園。

yd和lx:地圖顯示路線。

sg:顯示路線。

太湖周圍有什麼好玩的?

yd和lx:顯示地圖。

sg:無用資訊。

拙政園的遊覽圖。

三個都無有用資訊。

住宿:

幫我訂一個單人間。

yd:提示“不會”

lx:搜尋12580,提示“沒有找到資訊”

sg:多次識別出錯。

幫我找一下太湖周邊的酒店。

yd:開啟地圖。 沒有顯示酒店資訊。

lx:顯示酒店資訊,但是顯示的是太湖縣的酒店資訊。 資料來自12580.

sg: 開啟地圖,搜尋“酒店”。

我要找一個觀前街的酒店。

yd:開啟地圖。 顯示酒店標記。

lx:顯示酒店列表,資料來自12580.

sg:開啟地圖。

我要找一個經濟型酒店。

yd:開啟地圖。

lx:沒有顯示任何內容。

sg:無用提示資訊。

生活資訊:

哪裡可以沖印照片。

yd和lx:提示“不會”

sg:顯示無關圖片。

哪裡有照相館。

三個都打開了地圖。

哪裡可以洗車?

yd和lx:顯示天氣預報。

sg:無用提示。

哪裡有英語培訓機構 / 附近哪裡有乾洗店? / 幫我找一個搬家公司。/ 買一張1942的電影票。

三個都沒有給出有用資訊。

購物類

三個基本都“太笨” ,沒法給出有用資訊。

導航類:

幫我找一個xx的視訊教程。  

三個都沒有有用資訊。

開啟軍事新聞網。/ 開啟鳳凰網。等等具體的網站名稱。

基本能正確開啟。

有哪些英語學習類網站?找幾個視訊網站。

都沒能給出有用導航資訊。

簡單的分析:

語點和靈犀在產品設計,核心技術上其實就是同一個產品,但是後端服務資料不一樣,靈犀有12580的資料,MM應用市場資料。

識別率上: 沒有感覺到明顯的差別。

任務完成度: 整體感覺上搜狗語音助手要好,搜狗整合大眾點評的資料做得很全。 靈犀由於酒店資訊僅使用12580,感覺沒有大眾點評的資料全面。語點則缺少部分資料。

 參考大眾點評網上提供的資訊和服務,試圖在語音助手中完成查詢,總體感覺三個軟體能提供的資訊服務種類比較單一。酒吧,電影票,照相館等資料無法查詢。 原因可能有兩點:

1,語義解析不準確。 2,後端資料整合不全面。

旅遊類資訊查詢無法有效進行。 購物類資訊查詢無法有效進行。

導航類資訊比較粗糙。只能完成簡單的導航。

知識類資訊查詢主要依賴後端的論壇或者問答網站,有部分問題能夠獲取比較好的答案。

使用者體驗: 響應速度上三個差不多,UI展現形式類似。 有以下不好的體驗: 某些資訊需要呼叫第三方程式,會出現頁面的來回切換,需要額外的點選操作。  偶爾會出現等待時間較長。 基本不考慮上下文。

個人的一點理解: 用一個網際網路經常用到的流量的說法來理解 此類產品,前端(識別+理解)接受流量, 但是流量要匯出到哪裡?目前看,這個匯出做的都很粗糙,能夠匯出的點目前能夠從產品中看到的是有限的,大部分都轉到了搜尋,是無法快速獲取有效資訊的。這些需要精雕細琢的後端服務功能,是可以在一個框架下開發出來的, 比如旅遊方面的流量可以匯入到專業做線路資訊查詢,景點諮詢,旅遊服務的公司;購物相關的流量匯入到專業電商網站;也可以基於此框架完成豐富的網站導航;  但是又不能做成上述產品中那樣簡單的頁面跳轉操作,這個服務框架可以進一步獲取到使用者的具體需求,提供更精準的結果。......技術人員的 初步的想法而已,就不繼續獻醜了。

還有一個疑問,靈犀這個語點的官方授權山寨版,該如何與語點並存?